系统环境

软件版本

软件	安装包版本
hadoop	hadoop-2.7.7.tar.gz
jdk	jdk-8u191-linux-x64.tar.gz
scala	scala-2.12.8.tgz
mysql	mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz
spark	spark-2.4.0-bin-hadoop2.7.tgz

集群环境

	ip	hostname	system
master	10.96.81.166	jms-master-01	centos7.2 [ CPU: 4 & 内存: 12G & 硬盘大小: 100G ]
node	10.96.113.243	jms-master-02	centos7.2 [ CPU: 4 & 内存: 12G & 硬盘大小: 100G ]
node	10.96.85.231	jms-master-03	centos7.2 [ CPU: 4 & 内存: 12G & 硬盘大小: 100G ]

约定规范

约定所有软件的安装目录：/home/hadoop/tools
约定所有的安装包存放目录：/home/hadoop/tools/package

前期准备

本文默认已经搭建好了hadoop集群环境。

安装包下载

为节省时间，提前在官网下载好和hadoop环境版本匹配的spark安装包spark-2.4.0-bin-hadoop2.7.tgz
如果没有安装scala，请下载scala安装包scala-2.12.8.tgz，并安装。

scala安装

先在master节点完成安装，然后scp到其他各个node节点。

master主节点安装

以下安装在master(jms-master-01)进行:
上传scala安装包至master节点：
scp scala-2.12.8.tgz jms-master-01:/home/hadoop/tools/package

解压

tar -xzvf scala-2.12.8.tgz -C /home/hadoop/tools/

配置scala环境变量

sudo vim /etc/profile

# scala home
export SCALA_HOME=/home/hadoop/tools/scala-2.12.8
export PATH=$SCALA_HOME/bin:$PATH

环境变量立即生效

source /etc/profile

验证

[hadoop@jms-master-01 tools]$ scala
Welcome to Scala 2.12.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_191).
Type in expressions for evaluation. Or try :help.

scala> :q

退出scala交互窗口命令
:q

node节点分发

# 分发scala
scp -r scala-2.12.8 jms-master-02:/home/hadoop/tools/
scp -r scala-2.12.8 jms-master-03:/home/hadoop/tools/
# 分发配置
sudo scp /etc/profile  jms-master-02:/etc/profile
sudo scp /etc/profile  jms-master-03:/etc/profile

最后在各节点刷新profile文件使配置生效，并验证scala是否安装成功。

Spark安装

先在master节点完成安装，然后scp到其他各个node节点。

master主节点安装

上传&解压

scp spark-2.4.0-bin-hadoop2.7.tgz jms-master-01:/home/hadoop/tools/package
tar -xzvf spark-2.4.0-bin-hadoop2.7.tgz -C /home/hadoop/tools/

添加Spark环境变量

sudo vim /etc/profile
# spark home
export SPARK_HOME=/home/hadoop/tools/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

修改Spark配置文件

spark配置文件模版在： cd ${SPARK_HOME}/conf/
主要修改两个配置文件：spark-env.sh和slaves

spark-env.sh

# 复制模版
cp spark-env.sh.template spark-env.sh
# 添加配置
vim spark-env.sh
export SCALA_HOME=/home/hadoop/tools/scala-2.12.8
export JAVA_HOME=/home/hadoop/tools/java/jdk1.8.0_191
export SPARK_MASTER_IP=jms-master-01
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/home/hadoop/tools/hadoop-2.7.7/etc/hadoop

slaves

cp slaves.template slaves
vim slaves
# localhost
jms-master-01
jms-master-02
jms-master-03

node节点分发

# 分发spark
scp -r spark-2.4.0-bin-hadoop2.7 jms-master-02:/home/hadoop/tools/
scp -r spark-2.4.0-bin-hadoop2.7 jms-master-03:/home/hadoop/tools/
# 分发配置
sudo scp /etc/profile  jms-master-02:/etc/profile
sudo scp /etc/profile  jms-master-03:/etc/profile

最后在各节点刷新profile文件使配置生效。

启动Spark集群

启动前确定Hadoop集群已经启动。
启动命令
sh $SPARK_HOME/sbin/start-all.sh

[hadoop@jms-master-01 spark-2.4.0-bin-hadoop2.7]$ cd sbin/
[hadoop@jms-master-01 sbin]$ ls
slaves.sh         start-history-server.sh         start-slave.sh          stop-master.sh                 stop-slaves.sh
spark-config.sh   start-master.sh                 start-slaves.sh         stop-mesos-dispatcher.sh       stop-thriftserver.sh
spark-daemon.sh   start-mesos-dispatcher.sh       start-thriftserver.sh   stop-mesos-shuffle-service.sh
spark-daemons.sh  start-mesos-shuffle-service.sh  stop-all.sh             stop-shuffle-service.sh
start-all.sh      start-shuffle-service.sh        stop-history-server.sh  stop-slave.sh
[hadoop@jms-master-01 sbin]$ sh start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/tools/spark-2.4.0-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-jms-master-01.out
jms-master-03: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/tools/spark-2.4.0-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-jms-master-03.out
jms-master-01: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/tools/spark-2.4.0-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-jms-master-01.out
jms-master-02: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/tools/spark-2.4.0-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-jms-master-02.out
[hadoop@jms-master-01 sbin]$ jps
20514 Master
20675 Jps
48852 NodeManager
20614 Worker
48375 DataNode
48729 ResourceManager
48556 SecondaryNameNode
48222 NameNode

Spark集群测试

运行第一个spark任务WorldCount

1，准备一个测试文件,摘录一段百度词条中对spark的介绍内容。

vim spark-test.txt

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

2，将测试文件上传到hdfs中
hadoop fs -put spark-test.txt /user/hadoop/input

测试代码

val f = sc.textFile("hdfs://jms-master-01:9000/user/hadoop/input/spark-test.txt")
f.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey( +).collect().foreach(println)

启动spark-shell:

spark-shell

[hadoop@jms-master-01 spark-2.4.0-bin-hadoop2.7]$ spark-shell
2019-03-19 13:37:08 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://jms-master-01:4040
Spark context available as 'sc' (master = local[*], app id = local-1552973836296).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_191)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

测试

scala> val f = sc.textFile("hdfs://jms-master-01:9000/user/hadoop/input/spark-test.txt")
f: org.apache.spark.rdd.RDD[String] = hdfs://jms-master-01:9000/user/hadoop/input/spark-test.txt MapPartitionsRDD[9] at textFile at <console>:24

scala> f.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey( _+_).collect().foreach(println)
(的补充，可以在,1)
(MapReduce的通用并行框架，Spark，拥有Hadoop,1)
(AMP,2)
(是为了支持分布式数据集上的迭代作业，但是实际上它是对,1)
(Apache,1)
(相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使,1)
((Algorithms,,1)
(Lab),1)
(实验室,1)
((加州大学伯克利分校的AMP实验室)所开源的类Hadoop,1)
(不同，Spark,1)
(能够紧密集成，其中的,1)
(文件系统中并行运行。通过名为,1)
(由加州大学伯克利分校,1)
(是一种与,1)
(Scala,4)
(是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC,1)
(Machines,,1)
(MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。,1)
(启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。,1)
(和,1)
(用作其应用程序框架。与,1)
(开发，可用来构建大型的、低延迟的数据分析应用程序。,1)
(lab,1)
(Mesos,1)
(Spark,5)
(尽管创建,1)
(在某些工作负载方面表现得更加优越，换句话说，Spark,1)
(People,1)
(可以像操作本地集合对象一样轻松地操作分布式数据集。,1)
(是在,1)
(and,1)
(的第三方集群框架可以支持此行为。Spark,1)
(语言中实现的，它将,1)
(Berkeley,1)
(Hadoop,4)

scala>

至此，Spark2.4.0分布式环境搭建完成。