spark集群

准备工作

https://archive.apache.org/dist/spark/
jdk-8u251-linux-x64.tar.gz （自行下载）

服务器三台

192.168.41.12
192.168.41.13
192.168.41.14

配置服务器之间的 hostname，ssh 免密登录

• hostname 在 /etc/hostname 文件中，使用vim /etc/hostname即可
• 服务器别名配置在 /etc/hosts文件中，使用vim /etc/hosts即可
  如图所示
• 现在检查您是否可以在不使用密码短语的情况下通过ssh连接到本地主机：
  ssh localhost
• 如果没有密码短语无法通过ssh连接到本地主机，请执行以下命令：

# 产生密钥对，-t 指定生成的密钥类型 -P 旧密码 -f 保存密钥的文件
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 将产生的公钥追加到authorized_keys文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 修改文件权限
chmod 0600 ~/.ssh/authorized_keys

# 执行以上操作后可以实现免密登录本机
ssh node01

# 实现远程免密登录,需要将本机公钥拷贝到远程机器,username@ip或者username@hostname
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
# 免密验证
ssh  root@node01

配置Jdk，Spark环境

#Jdk
JAVA_HOME=/export/servers/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH

#Spark
export SPARK_HOME=/export/servers/spark
export PATH=$PATH:$SPARK_HOME/bin

配置Sparkconf目录

image.png

• 一样的路子，cp template
• 配置spark-env.sh
  image.png

export JAVA_HOME=/export/servers/jdk1.8.0
export SPARK_MASTER_HOST=node01
export SPARK_MASTER_PORT=7077

• 配置slaves
  image.png

同步配置

• 把 上述配置同步到 另外两台服务器
• scp 命令

启动项目

• 切换到 sbin 目录
• ./start-all.sh 启动
• ./stop-all.sh 停止
• jps 查看

注意项

1. master 显示 Master,Worker
2. slaves 显示 Worker
3. web访问地址：http://192.168.41.12:8080/
   image.png