下载服务器(新增pc&downloader集群节点)的环境配置

配置中文支持 方案二
配置局域网主机ssh免密码互通
安装zsh
安装pyenv
挂载数据盘
安装FFmpeg:

sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next
sudo apt update
sudo apt install ffmpeg

安装cv2:

pip install opencv-python opencv-contrib-python
sudo apt install libgl1-mesa-glx

源码安装node.js
hdfs添加新的节点:
复制hk57中的 /opt/java和 /opt/hadoop 文件夹到新节点服务器的/opt/ 目录下
修改新节点的/opt/hadoop/etc/hadoop/hdfs-site.xml 文件的dfs.namenode.name.dir(namenode存放的路径)和 dfs.datanode.data.dir(datanode存放的路径)的值

vim /etc/profile

# 配置java和hadoop环境变量
export JAVA_HOME=/opt/java
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

修改集群所有主机的hosts文件 vim /etc/hosts

1xx.xx.xx.56    cxxai
1xx.xx.xx.57    run-xxer
1xx.xx.xx.59    hk59

修改master主机的/opt/hadoop/etc/hadoop/workers文件
添加新的节点的主机名
重启hdfs服务:
进入master主机的/opt/hadoop/sbin目录,执行./stop-all.sh停止服务
start-all.sh 启动服务
start-balancer.sh 各节点负载均衡(无需重启hdfs服务)