SparkR的启动

作者: 余含军 | 来源:发表于2017-11-24 16:01 被阅读0次

spark在1.5及其版本之后内置有sparkR，我用的服务器上安装的spark的版本为2.2，安装位置在/usr/lib/spark-current，此目录下有一个R文件夹，SparkR就装在./R/lib目录下。

每次进入R后，要想载入SparkR，需要先执行以下命令：

library(rJava)

libpath<-.libPaths() #所有R承认的R包路径，即library()的时候R会去查看的路径

libpath<-c(libpath,"/usr/lib/spark-current/R/lib") #此即为SparkR所在的目录

.libPaths(libpath)

rm(libpath)

library(SparkR) #成功载入

Apache Spark 2.2.0 中文文档 - SparkR
SparkR (R on Spark) 概述 SparkDataFrame 启动: SparkSession 从 ...
Apache Spark 2.2.0 中文文档 - SparkR
SparkR (R on Spark) 概述 SparkDataFrame 启动: SparkSession 从 ...
SparkR的启动
spark在1.5及其版本之后内置有sparkR，我用的服务器上安装的spark的版本为2.2，安装位置在/usr...
SparkR on Yarn 安装配制
刚完成SparkR的支持，顺手记录下流程… 1 编译SparkR 1.1 生成SparkR的lib包 1.2 编译...
[SparkR]
[译]打造大数据产品：Shiny的Spark之旅
概述我对如何开发和部署"Shiny-SparkR"的应用一直很感兴趣，本文将展示如何使用 SparkR 来驱动 ...
08 SparkR (R on Spark)
转载请注明出处，谢谢合作～暂时没用到，留个占位符，以后来填~ SparkR (R on Spark)
1.Writing R data frames returned
stack overflow原文地址弱鸡小白在使用SparkR处理大规模的R dataframe时想使用map的方...
[R]高性能计算SparkR
Why SparkR Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，...
性能优化 -- 启动优化
启动优化 app启动分为：冷启动；热启动，温启动三种冷启动：耗时最多流程：冷启动经过的流程点击app --> ...