第一步下载spark安装包:包不大,直接百度,官网下载即可。目前安装的是spark-2.2.0-bin-hadoop2.7。
解压之后就可以使用了。
进入安装包目录spark-2.2.0-bin-hadoop2.7,可见到如下文件夹:
LICENSE R RELEASE conf derby.log jars logs python spark-warehouse yarn
NOTICE README.md bin data examples licenses metastore_db sbin work
在此目录下:
启动master: ./sbin/start-master.sh
启动后在浏览器输入:http://localhost:8080 可以看到spark web ui管理页面,主要是获取
URL: spark://SH-snow.local:7077 信息。
启动slave:./sbin/start-slave.sh spark://SH-snow.local:7077
提交一个例子:
./bin/spark-submit --class org.apache.spark.examples.ml.JavaLDAExample --master spark://SH-snow.local:7077 examples/jars/spark-examples_2.11-2.2.0.jar
:)
网友评论