在上篇基础上安装spark集群

安装scala

scala-2.13.2.tgz   链接: https://pan.baidu.com/s/1Sd1t7ZJnE4NoaiQTUqjahw 提取码: arnc

第一步：上传至/usr/local/scala并解压scala-2.13.2.tgz

tar -zvxf scala-2.13.2.tgz

第二步：配置环境变量

vim  /etc/profile

在/etc/profile文件中添加以下环境变量

export SCALA_HOME=/usr/local/scala/scala-2.13.2

export PATH=$PATH:$SCALA_HOME/bin

第三步：使环境变量生效

source /etc/profile

第四步：将scala-2.13.2至slave1、slave2

scp -r /usr/local/scala/scala-2.13.2  slave1:/usr/local/scala

scp -r /usr/local/scala/scala-2.11.8  slave2:/usr/local/scala

分别在slave1、salve2上重复第2步

第五步：验证

分别在master、salve1、salve2中执行scala -version，如果安装成功显示版本。

安装spark集群

上传spark-2.2.0-bin-hadoop2.7.tgz

mv spark-2.2.0-bin-hadoop2.7 spark

修改spark-env.sh配置文件

vim spark-env.sh

export JAVA_HOME=/root/jdk1.8.0_251

export SCALA_HOME=/root/scala-2.13.2

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.10.0

export SPARK_HOME=/root/spark

export SPARK_WORKER_CORES=1

# 每一个Worker最多可以使用的cpu core的个数

#设置实例数

export SPARK_WORKER_INSTANCES=1

# 每一个Worker最多可以使用的内存

export SPARK_WORKER_MEMORY=1G

export SPARK_MASTER_HOST=mm

# 配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题

# 一般来说，spark任务有很大可能性需要去HDFS上读取文件

# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配

# 设置Master的主机名

# 提交Application的端口，默认就是这个，万一要改呢，改这里

#export SPARK_MASTER_PORT=7077

修改slaves配置文件，添加Worker的主机列表

mv slaves.template slaves

 vim slaves

Slave1

Slave2

把SPARK_HOME/sbin下的start-all.sh和stop-all.sh这两个文件重命名

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh

原因：

如果集群中也配置HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了，当然，不修改的话，你需要进入它们的sbin目录下执行这些文件，这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便

把spark安装包分发给其他节点

在集群所有节点中配置SPARK_HOME环境变量

export SPARK_HOME=/root/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

在spark master节点启动spark集群

start-spark-all.sh

通过WEB查看状态

namenode的webUI端口：50070

yarn的web端口：8088

spark集群的web端口：8080

spark-job监控端口：4040

安装pydev(参考官方文档 https://github.com/pyenv/pyenv)

git clone https://github.com/pyenv/pyenv.git ~/.pyenv

For bash:

echo'export PYENV_ROOT="$HOME/.pyenv"'>>~/.bash_profileecho'export PATH="$PYENV_ROOT/bin:$PATH"'>>~/.bash_profile

For Ubuntu Desktop:

echo'export PYENV_ROOT="$HOME/.pyenv"'>>~/.bashrcecho'export PATH="$PYENV_ROOT/bin:$PATH"'>>~/.bashrc

For Zsh:

echo'export PYENV_ROOT="$HOME/.pyenv"'>>~/.zshrcecho'export PATH="$PYENV_ROOT/bin:$PATH"'>>~/.zshrc

For Fish shell:

set-UxPYENV_ROOT$HOME/.pyenvset-Uxfish_user_paths$PYENV_ROOT/bin$fish_user_paths

安装python

pydev install 3.6.5

vim /etc/profile

export PYSPARK_PYTHON=/root/.pyenv/versions/3.6.0/bin/python

source /etc/profile

运行pyspark

Welcome to

      ____              __

    / __/__  ___ _____/ /__

    _\ \/ _ \/ _ `/ __/  '_/

  /__ / .__/\_,_/_/ /_/\_\  version 3.0.0-preview2

      /_/

Using Python version 3.6.5 (default, May 28 2020 11:03:33)

SparkSession available as 'spark'.

>>>

自此pyspark相关环境配置完成

测试pyspark on yarn运行

由于经常用到第三方的python库，这样在每台worker节点上去安装第三方库不太现实。

可以使用下面的命令提交到cluster

spark-submit   

--master yarn 

--deploy-mode cluster 

--conf spark.yarn.dist.archives=hdfs:///user/hduser/data/spark_test.zip#pyenv 

 --conf spark.yarn.appMasterENV.PYSPARK_PYTHON=pyenv/3.6.0/bin/python 

/root/spark/examples/src/main/python/als.py

spark.yarn.dist.archives：hdfs:///user/hduser/data/spark_test.zip#pyenv  指定压缩文件地址，压缩文件被分发到 executor 上，并且解压，#pyenv 代表解压到的目录

spark.yarn.appMasterEnv.PYSPARK_PYTHON：指定使用的 python 环境；pyenv 即上面的解压目录，3.6.0 即spark_test.zip解压后的目录。