spark完全分布式集群搭建

第一步：先将单机版安装好

步骤参照:centos spark单机版伪分布式
https://www.jianshu.com/p/40c2a7cd6486

第二步：配置spark-env.sh

# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配
export HADOOP_CONF_DIR=/opt/modules/app/hadoop/etc/hadoop

第三步：配置slaves

添加worker主机列表

hadoop4
hadoop5

第四步：将scala和spark安装包发送给其他节点

在/opt/modules/app目录下运行以下命令

src -r ./scala hadoop4:/opt/modules/app/
spc -r ./scala hadoop5:/opt/modules/app/
src -r ./spark hadoop4:/opt/modules/app/
spc -r ./spark hadoop5:/opt/modules/app/

第五步：配置worker主机的profile

由于每一台安装位置都是一样的，所以我直接将master的profile复制到worker主机
在etc目录下操作

src -r ./profile hadoop4:/etc/
spc -r ./profile hadoop5:/etc/

第六步：开启spark集群

开启spark集群之前现开启hadoop集群

start-dfs.sh

开启spark集群

spark-start-all.sh

spark完全分布式集群搭建完毕