接着我们通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-submit 直接提交。
（一）编写Scala独立应用程序
安装sbt
sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内容。
Spark 中没有自带 sbt，这里直接给出sbt-launch.jar的下载地址，直接点击下载即可。
我们选择安装在 /usr/local/sbt 中：
second try
重新一模一样的安装一遍hadoop和spark，这次是成功的。
Paste_Image.png
其他参考资料
http://lib.csdn.net/article/scala/27169 给出了官网信息
http://blog.csdn.net/sadfasdgaaaasdfa/article/details/50821459 给出了一个实例
配置信息
配置信息
最终成功了，但是等了43min，太长了。
Paste_Image.png
得到了正确结果
java
第一次尝试47min，失败
同样的命令，也失败了，但这次很快
2 加载hdfs上的文件
2.1
上传有错误，但是已经上传上去了，可能是一个节点的问题
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.100.125:50010
网友评论