spark2.0集群安装

Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处理速度快 100 倍。本文使用一台电脑上构建多个虚拟机的方法来模拟集群。

1.安装Hadoop并搭建好Hadoop集群环境
Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境。如果没有配置好Hadoop的分布式集群环境，Hadoop 2.7分布式集群环境搭建根据相应说明安装。

2.安装Spark
在master节点机器上，访问Spark官方下载地址，按照如下图下载。

Paste_Image.png

下载完成后，执行如下命令：

sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark
sudo chown -R hadoop ./spark

3.配置环境变量
在master节点主机的终端中执行如下命令：

vim .bashrc

在.bashrc添加如下配置：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4.Spark配置
把master 作为 Master 节点，两个node1、node2作为Worker节点。
在master节点主机上进行如下操作：

4.1 slaves
将 slaves.template 拷贝到 slaves

    cd /usr/local/spark/
    cp ./conf/slaves.template ./conf/slaves

slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容：

node1
node2

4.2 spark-env.sh
将 spark-env.sh.template 拷贝到 spark-env.sh

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑spark-env.sh,添加如下内容：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.146.130

SPARK_MASTER_IP 指定 Spark 集群 master 节点的 IP 地址；

配置好后，将master主机上的/usr/local/spark文件夹复制到各个节点上。在master主机上执行如下命令：

    cd /usr/local/
    tar -zcf ~/spark.master.tar.gz ./spark
    cd ~
    scp ./spark.master.tar.gz node1:/home/hadoop
    scp ./spark.master.tar.gz node2:/home/hadoop

在node1,node2节点上执行：

    sudo rm -rf /usr/local/spark/
    sudo tar -zxf ~/spark.master.tar.gz -C /usr/local
    sudo chown -R hadoop /usr/local/spark

5.启动Spark集群
5.1 启动hadoop集群

cd /usr/local/hadoop/
sbin/start-all.sh

5.2 启动spark集群

    cd /usr/local/spark/
    sbin/start-all.sh

5.3 在浏览器上查看Spark独立集群管理器的集群信息

Paste_Image.png