一、Spark Shell

SparkShell是Spark自带的一个快速原型开发工具，也可以说是Spark的scala REPL(Read-Eval-Print-Loop),即交互式shell。支持使用scala语言来进行Spark的交互式编程。

Spark Shell使用

启动Standalone集群，./start-all.sh
在客户端上启动spark-shell:

./spark-shell --master spark://node01:7077 --name myapp

启动hdfs，创建目录spark/test,上传文件words

启动hdfs集群：
    start-all.sh
创建目录：
    hdfs dfs -mkdir -p /spark/test
上传wc.txt
    hdfs dfs -put /root/test/words /spark/test/

运行wordcount

scala> var rdd = sc.textFile("hdfs://node01:8020/spark/test/words")
.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect()

#运行结果
rdd: Array[(String, Int)] = Array((spark,2), (mr,1), (hello,7), (java,3), (hdfs,1))

浏览器访问http://node01:8888/ 查看Jobs、Stages、Storage、Excutor等信息

图片.png
注：Storage查看需要执行 rdd.cache() 清除缓存rdd.unpersist()

二、历史日志服务配置

如下图所示，已经执行的Applications关闭shell后无法查看历史

图片.png

客户端配置

[root@node04 conf] cp spark-defaults.conf.template spark-defaults.conf

#配置
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://mycluster/spark/log
spark.history.fs.logDirector  hdfs://mycluster/spark/log
spark.eventLog.compress   true

#注意要先创建文件夹
hdfs dfs -p mkdir /spark/

启动历史日志服务器

[root@node04 sbin] ./start-history-server.sh
#会在当前节点启动历史日志服务器

历史日志服务器浏览器访问 http://node04:18080

启动spark shell后 再关掉，此时已经存了日志到/spark/log