单机版spark搭建

一. 安装JDK，可参考：Linux（CentOs7）安装OpenJDK1.8。

二. 安装spark。

说明：安装单机版spark只需要安装jdk和spark就可以了，因为spark内置的有scala，可不单独安装spark依赖的scala。这是网上的说法，我因为安装了scala就没有再去卸载。

2.1 到spark官网下载Spark压缩包及解压：

官网下载地址：http://spark.apache.org/downloads.html

2.2上传到Linux

2.3 解压tar包

命令：

tar   -zxvf  spark-2.3.1-bin-hadoop2.7.tgz

2.4 重命名：

mv spark-2.3.1-bin-hadoop2.7 spark

2.5 配置环境变量

vim ~/.bash_profile 
然后在文件的最后加上如下配置：
#Spark
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin
source ~/.bash_profile 

2.6 修改配置文件

spark-env.sh文件：

# 进入spark的conf目录下:
cd  /opt/spark/conf/
#copy一份spark-env.sh：
cp  spark-env.sh.template spark-env.sh
#然后进入vim编辑模式：
vim  spark-env.sh
#在文件的最后加上如下配置：
export JAVA_HOME=/usr/lib/jvm/java18   #这里是你jdk的安装路径
export SPARK_HOME=/opt/spark
export SPARK_MASTER_IP=192.168.1.116  #将这里的IP改为自己的
export SPARK_MASTER_PORT=7077 # 默认端口为7077，可以修改 
export SPARK_MASTER_WEBUI_PORT=7070  #访问spark web的端口，默认为7070，可以修改改

slaves文件：

 #进入spark的conf目录下：
cd  /opt/spark/conf/
#copy一份slaves：
cp  slaves.template slaves
#然后进入vim编辑模式：
vim  slaves
#在文件的最后加上如下配置：
192.168.1.116 #这里是本机的IP

三. 启动spark。

#进入spark的sbin目录：
cd  sbin/
#启动spark集群（单机版）： 
./start-all.sh #可能会会要求你输入linux的登录密码

启动后使用jps命令可看到运行的master和worker进程，至此，单机版spark的搭建完成

四、访问spark web ui

http://192.168.1.116:7070

原文地址：https://blog.csdn.net/yzh_1346983557/article/details/81624708