Spark下载以及目录
下载Spark下载源码
解压:
进入到目录当中:
bin目录
conf目录
需要配置的有两个文件:
slaves.template
,spark-env.sh.template
start-all.sh
启动Spark集群
修改配置文件
在spark-env.sh
当中
# 配置Java环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_65/
# 配置master的地址
export SPARK_MASTER_HOST=node-1
# 配置master的端口
export SPARK_MASTER_PORT=7077
指定slaves:
在配置文件当中添加相应的从节点:
给Linux添加Spark环境变量:
在/etc/profile
中添加:
将Spark分发到其它节点上:
$PWD指代和当前目录一致
同时分发到node-3中:
将/etc/profile也copy到node-2和node-3上:
到这里,整个Spark集群就安装好了。
启动Spark集群
在主节点上启动:
在Spark下的sbin目录中,运行这个./start-all.sh
脚本,不要运行start-all.sh
,这个是Hadoop启动的命令。
node-1是Master,node-2和node-3是Worker:
使用jps命令可以查看到node-1上启动了Master,其余两个节点启动了Worker。
查看Spark的Web管理界面
访问:node-1:8080
注意这里的URL是在spark-env.sh当中配置的。
Drivers可以理解为客户端,针对每一个Application都有一个Drivers。
整个集群的核数就是Worker核数的总和。内存同理。
停止Spark集群
对集群的关闭:
使用jps命令查看,Spark进程已经结束。
网友评论