spark-3.0.0安装教程

1. 安装JDK1.8

有些系统默认安装openjdk, 先卸载之，安装标准的JDK1.8 ，使用该命令查看 openjdk的 安装路径, 查出安装名称

rpm -qa | grep jdk 

用该命令卸载：

rpm -e –nodeps xxxxxx

用例：

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64

上传jdk安装包到规划的路径，路径为 /home/ysops/java

解压包

tar -zxvf  jdk-8u161-linux-x64.tar.gz

在非root用户下安装jdk, 在当前用户目录下：

vi .bash_profile

复制如下内容：

export JAVA_HOME=/home/ysops/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=${JAVA_HOME}/jre

退出 vi 编辑器， 执行

source .bash_profile 

Java -version 出版本信息，安装ok

2. 安装spark

服务器规划：

IP	路由服务端口
10.213.50.94	cnsz72vl0237
10.213.50.95	cnsz72vl0238
10.213.50.96	cnsz72vl0239

将安装包上传到指定服务器目录, 该目录统一放置spark的所有环境搭建:

/home/ysops/spark/ 

这里使用的是 spark-3.0.0-bin-hadoop2.7.tgz 这个安装包

解压命令： tar -zxvf 压缩包名

tar -zxvf  spark-3.0.0-bin-hadoop2.7.tgz 

此时解压完成生成spark组件文件夹

1. standalone模式

Spark自带的一个简单的集群模式，典型的Master/slave模式，与MapReduce1.0框架类似，Spark框架本身也自带了完整的资源调度管理服务，可以独立部署到一个集群中，而不需要依赖其他系统来为其提供资源管理调度服务

Spark master节点（主）：10.213.50.94

Spark slave：10.213.50.94, 10.213.50.95, 10.213.50.96

将解压的文件重新命名为 spark-standalone

cp  spark-3.0.0-bin-hadoop2.7  spark-standalone 

3台服务器都使用同样的文件路径释放spark，每台服务器都做同样的配置，分别进入conf目录下：

释放spark-env.sh 文件，并添加如下内容：

export JAVA_HOME=/home/ysops/java/jdk1.8
SPARK_MASTER_HOST=cnsz72vl0237
SPARK_MASTER_PORT=7077
SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/ysops/spark/spark-standalone/external_jars/*

2.释放slaves 文件，并添加如下内容：

cnsz72vl0238
cnsz72vl0239

或者使用如下命令进行文件分发：

scp -r ~/spark/spark-standalone ysops@10.213.50.95:~ 
scp -r ~/spark/spark-standalone ysops@10.213.50.96:~ 

3 在spark3.0.0的版本中，出于对安全风险的控制，默认关闭了rest 模式，需要手动开启配置，在master服务器的conf目录下 spark-defaults.conf文件中设置下值：

spark.master.rest.enabled true 

表示启用rest url 。

在规划的master 节点服务器上启动 master 进程，进入到 sbin 目录下 执行 ./start-master.sh，

在规划的slave节点服务器上启动 slave进程,( 10.213.50.94, 10.213.50.95, 10.213.50.96)

./start-slave.sh 10.213.50.94:7077 

查看进程使用 jps

截图展示：

image.png image.png image.png

访问master服务器地址: http://10.213.50.94:8080/

image.png

发布一个应用到spark集群:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://10.213.50.94:7077 \
  --executor-memory 1G \
  --total-executor-cores 2 \
  examples/jars/spark-examples_2.12-3.0.0.jar \
  10