spark-3.2.1-bin-hadoop3.2 standa

1.scala（好像不装scala也行 没有测试过）

wget https://downloads.lightbend.com/scala/2.12.2/scala-2.12.2.tgz
tar zxvf scala-2.12.2.tgz
vi /etc/profile
export SCALA_HOME=/home/yiwu/scala-2.12.2
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin
source /etc/profile

2. spark standalone 安装

master:172.16.126.148 7077 7080 7081
worker:172.16.126.149 7077 7081
spark-3.2.1-bin-hadoop3.2

chmod -R 777 spark-home

conf/spark-env.sh 内容

JAVA_HOME=/home/yiwu/jdk1.8.0_141
SCALA_HOME=/home/yiwu/scala-2.12.2  
SPARK_HOME=/home/yiwu/spark-3.2.1-bin-hadoop3.2
SPARK_PID_DIR=/home/yiwu/spark-3.2.1-bin-hadoop3.2/pid
SPARK_MASTER_HOST=172.16.126.148
SPARK_MASTER_PORT=7077
SPARK_LOCAL_IP=172.16.126.149 # 不同机器用不同的ip
SPARK_WORKER_MEMORY=4G  
SPARK_MASTER_WEBUI_PORT=7080
SPARK_WORKER_WEBUI_PORT=7081

conf/spark-default.conf 内容

spark.master spark://172.16.126.148:7077
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 5g

conf/workers 内容

172.16.126.148
172.16.126.149

没有配置过ssh免密登录的 就一个个启动
master启动(148) sh sbin/start-master.sh
worker启动(148 149) sh sbin/start-worker.sh spark://172.16.126.148:7077

配置过ssh免密登录的
直接运行 master上的 sh start-all.sh