[
在spark shell中编写WordCount程序
.
执行步骤
- 将spark.txt文件上传到hdfs上 /usr/local hadoop fs -put
- 打包maven项目
- 将打包后的jar包上传到机器
- 编写 spark-submit 脚本
- 执行脚本，提交spark应用到集群执行
hadoop fs -put spark.txt /spark.txt
http://spark1:50070 查看
】
如果要在集群上运行，则需要修改代码中的两处：
- 将 setMaster() 方法删掉，他会自己去连接
- 将对象是本地文件改成hdfs上的文件
SparkConf conf = new SparkConf().setAppName("wordCountCluster");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD<String> lines = sc.textFile("hdfs://spark1:9000/spark.txt");
网友评论