Spark完全分布式集群搭建

环境准备

服务器集群

我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的)

关于虚拟机的安装可以参考以下两篇文章：

在Windows中安装一台Linux虚拟机

通过已有的虚拟机克隆四台虚拟机

spark安装包

下载地址：https://mirrors.aliyun.com/apache/spark/

我用的spark-2.2.0-bin-hadoop2.7.tgz

要根据自己机器中的hadoop版本选择对应的spark版本

1. 集群规划

2. 详细步骤

(1) 把安装包上传到hadoop01服务器并解压

[hadoop@hadoop01 soft]$ tar zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /home/hadoop/apps/# 解压后如果感觉安装目录的名称太长可以修改一下[hadoop@hadoop01 soft]$ cd /home/hadoop/apps/[hadoop@hadoop01 apps]$ mv spark-2.2.0-bin-hadoop2.7spark-2.2.0

(2) 修改spark-env.sh配置文件

# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh[hadoop@hadoop01 apps]$ cd spark-2.2.0/conf[hadoop@hadoop01 conf]$ mv spark-env.sh.template spark-env.sh# 修改spark-env.sh配置文件，添加如下内容[hadoop@hadoop01 conf]$ vim spark-env.sh# 配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧export JAVA_HOME=/usr/local/java/jdk1.8.0_73# 一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.4/etc/hadoop# 设置Master的主机名export SPARK_MASTER_HOST=hadoop01# 提交Application的端口，默认就是这个，万一要改呢，改这里export SPARK_MASTER_PORT=7077# 每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个...# 真实服务器如果有32个，你可以设置为32个export SPARK_WORKER_CORES=1# 每一个Worker最多可以使用的内存，我的虚拟机就2g# 真实服务器如果有128G，你可以设置为100Gexport SPARK_WORKER_MEMORY=1g

(3) 修改slaves配置文件，添加Worker的主机列表

[hadoop@hadoop01 conf]$ mv slaves.template slaves[hadoop@hadoop01 conf]$ vim slaves# 里面的内容原来为localhosthadoop01hadoop02hadoop03hadoop04

(4) 把SPARK_HOME/sbin下的start-all.sh和stop-all.sh这两个文件重命名

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh

原因：

如果集群中也配置HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了，当然，不修改的话，你需要进入它们的sbin目录下执行这些文件，这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便。

[hadoop@hadoop01 conf]$ cd ../sbin

[hadoop@hadoop01 sbin]$ mv start-all.sh start-spark-all.sh

[hadoop@hadoop01 sbin]$ mv stop-all.sh stop-spark-all.sh

(5) 把spark安装包分发给其他节点

[hadoop@hadoop01 apps]$ scp -r spark-2.2.0hadoop02:`pwd`[hadoop@hadoop01 apps]$ scp -r spark-2.2.0hadoop03:`pwd`[hadoop@hadoop01 apps]$ scp -r spark-2.2.0hadoop04:`pwd`

(6) 在集群所有节点中配置SPARK_HOME环境变量

[hadoop@hadoop01 conf]$ vim ~/.bash_profileexportSPARK_HOME=/home/hadoop/apps/spark-2.2.0exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin[hadoop@hadoop01 conf]$source~/.bash_profile# 其他节点也都配置...

(7) 在spark master节点启动spark集群

# 注意，如果你没有执行第4步，一定要进入SPARK_HOME/sbin目录下执行这个命令# 或者你在Master节点分别执行start-master.sh和start-slaves.sh[hadoop@hadoop01 conf]$ start-spark-all.sh

注意：

如果你配置了HADOOP_CONF_DIR，在启动spark集群之前，先启动hadoop集群

(8) 验证

spark完全分布式集群搭建成功！