spark环境搭建

一、安装环境

OS：CentOS 7
Hadoop版本：2.6.0
Spark版本：1.2.1
Scala版本：2.11.5
默认hadoop环境在之前实验已经搭建好了，助教的配置是：
ResourceManager节点
NameNode节点
SecondaryNameNode节点
DataNode节点
以上是本文档中Spark搭建的环境和相关程序版本，其它版可以参考网络上相关的配置方法。

二、搭建步骤

1、配置Scala，因为Spark是用Scala语言编写的，对Scala环境有依赖性。（每个节点都要配置）
(1)下载Scala-1.2.1，(http://www.scala-lang.org/)
解压文件包，放在/usr/scala/目录下
(2)配置Scala环境变量
编辑/etc/profile文件，添加如下代码行（使用vi命令）

            # set scala environment
export PATH="$PATH:/usr/scala/scala-2.11.5/bin"

Paste_Image.png

（3）验证环境变量
保存后输入source /etc/profile命令，是环境变量生效。每个节点都要配置Scala环境变量，确保输入scala –version命令时出现如下图片中的内容：

Paste_Image.png
2.配置Spark-1.2.1（每个节点都要配置）
（1）下载Spark-1.2.1，（http://spark.apache.org/）
解压文件包，放在/usr/spark/目录下
（2）修改/usr/spark/spark-1.2.1/conf/目录下的slaves文件添加

# A Spark Worker will be started on each of the machines listed below.
ResourceManager
NameNode
SecondaryNameNode
DataNode

（3）配置Spark环境变量
编辑/etc/profile文件，添加如下代码行

# set spark environment
export SPARK_HOME="/usr/spark/spark-1.2.1"
export PATH=$SPARK_HOME/bin:$PATH

（4）配置spark-env.sh
编辑spark-env.sh

Paste_Image.png

（5）验证环境变量
输入source /etc/profile，使更改生效，输入echo $PATH查看环境变量，会有如下结果：

Paste_Image.png

3.启动Spark
(1)Hadoop已经启动
Spark对Hadoop有相关依赖性
(2)启动Spark
在/usr/spark/spark-1.2.1/sbin/文件夹下，执行./start-all.sh
输入jps命令查看各个节点结果：

Paste_Image.png

NameNode节点

Paste_Image.png

ResourceManager节点

Paste_Image.png

SecondarNameNode节点

Paste_Image.png

DataNode节点

三、网页查看集群状态

1、在浏览器输入http://namenode:8080/

Paste_Image.png

四、参考

1http://www.csdn123.com/html/topnews201408/91/12991.htm