欢迎访问我的GitHub
https://github.com/zq2599/blog_demos
内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；
系列介绍
《CDH5部署三部曲》共三篇文章，对CDH5.7.2版本的准备、部署、启动、设置等环节进行实战，内容如下：
第一篇：《准备工作》，即CDH集群中每一台机器都要做的操作；
第二篇：《部署和设置》，本章完成CDH集群部署和启动；
第三篇：《问题总结》，列出实战中遇到的问题及解决办法；
系列文章链接
版本信息
- CentOS：7.6.1810
- Python： 2.7.5（操作系统自带）
- CM包：cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
服务器规划
本次搭建的CDH集群一共用到三台机器，一台master，另外两台是agent：
| 主机名 | IP地址 | 内存 | 身份 |
|---|---|---|---|
| master | 192.168.133.152 | 双核4G内存 | 管理节点 |
| worker1 | 192.168.133.153 | 双核8G内存 | 任务节点 |
| worker2 | 192.168.133.154 | 双核16G内存 | 任务节点 |
文件下载
- cm下载地址：<font color="blue">http://archive.cloudera.com/cm5/cm/5/</font> ，找到自己需要的cm包下载，本次实战用的是<font color="red">cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz</font>，如下图红框：
在这里插入图片描述
- parcel下载地址：<font color="blue">http://archive.cloudera.com/cdh5/parcels</font> ，本次实战用到的是<font color="red">CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel</font>，请下载下图红框中的三个文件，注意一共要下载三个文件：
在这里插入图片描述
所有机器都要做的相同操作
以下操作需要master、worker1、worker2各自做一遍：
- 本次实战在所有机器上的操作，都使用root账号；
- 确保所有机器都可以用SSH工具远程登录；
- 安装时间同步工具：
yum install -y ntpdate
- 时间同步：
ntpdate cn.ntp.org.cn
- 关闭和禁用防火墙：
systemctl stop firewalld && systemctl disable firewalld
-
关闭SELINUX：打开文件<font color="blue">/etc/selinux/config</font>，找到<font color="blue">SELINUX=xxx</font>那一行，改为<font color="red">SELINUX=disabled</font>，如下图红框：
在这里插入图片描述
-
关闭swap：打开文件<font color="blue">/etc/fstab</font>，找到带有<font color="red">swap</font>的那一行，注释掉，如下图红框：
在这里插入图片描述
- 重启电脑；
- 新建文件夹<font color="blue">/usr/lib/jvm</font>
- 安装JDK，我这里下载的是<font color="blue">jdk-8u191-linux-x64.tar.gz</font>，解压后是个名为<font color="blue">jdk1.8.0_191</font>的文件夹，将此文件夹放在<font color="red">/usr/lib/jvm</font>目录下；
- 打开文件<font color="blue">/etc/profile</font>，在尾部增加以下内容：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
- 使配置生效：
source /etc/profile
- CDH默认的JDK目录是 <font color="blue">/usr/java/default</font>，因此要创建软链接，执行以下命令：
mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
-
检查Python是否可用，如果没有还请自行安装，本次用到的是2.6或者2.7版本：
在这里插入图片描述
- 安装多个依赖包：
yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
- 创建目录：
mkdir /opt/cloudera-manager
- 把前面准备好的文件<font color="blue">cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz</font>上传到<font color="red">master</font>，执行以下命令将该文件解压到<font color="blue">/opt/cloudera-manager</font>目录：
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager/
- 创建账号<font color="blue">cloudera-scm</font>：
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
- 编辑文件<font color="blue">config.ini</font>：
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
-
修改<font color="blue">server_host</font>的值，改为<font color="red">master</font>，如下图红框所示：
在这里插入图片描述
- 新建目录 <font color="blue">/usr/share/java/</font>，将刚才下载的<font color="blue">mysql-connector-java-5.1.34.jar</font>放入该目录，并改名为<font color="red">mysql-connector-java.jar</font>
三台电脑相互免密码登录设置
- 三台电脑的/etc/hosts文件，都增加以下相同内容：
192.168.133.154 master
192.168.133.155 worker1
192.168.133.156 worker2
- 三台电脑都执行命令：<font color="blue">ssh-keygen</font> 然后四个回车完成ssh公私钥创建；
- 在master执行<font color="blue">ssh-copy-id root@worker1</font>、<font color="blue">ssh-copy-id root@worker2</font>
- 在worker1执行<font color="blue">ssh-copy-id root@master</font>、<font color="blue">ssh-copy-id root@worker2</font>
- 在worker2执行<font color="blue">ssh-copy-id root@master</font>、<font color="blue">ssh-copy-id root@worker1</font>
至此，准备工作全部完成，请确保所有机器都做了上述操作，下一篇会用这些机器来完成部署。
欢迎关注公众号：程序员欣宸
微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界...
网友评论