CDH5部署三部曲之二：部署和设置

欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；

本篇概览

本文是《CDH5部署三部曲》的第二篇，上一篇《CDH5部署三部曲之一：准备工作》将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作；

系列文章链接

1. 《CDH5部署三部曲之一：准备工作》
2. 《CDH5部署三部曲之二：部署和设置》
3. 《CDH5部署三部曲之三：问题总结》

master机器上的设置

SSH登录master机器，执行以下操作：

1. 安装mariadb：

yum install mariadb-server

2. 启动mariadb服务，并设置为开机启动：

systemctl start mariadb && systemctl enable mariadb

3. 初始化数据库配置：

mysql_secure_installation

4. 按照控制台提示进行设置，主要是设置root账号的密码，以及允许root账号远程登录；
5. 登录mariadb：

mysql -u root -p123456

6. 给root的远程操作开放所有权限，并且刷新：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; 
flush privileges;

7. 创建parcel的本地仓库的文件夹，并且设置所有者和群组：

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

8. 将前面下载好的三个文件放入目录<font color="blue">/opt/cloudera/parcel-repo</font>，这三个文件是：<font color="red">CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel</font>、<font color="red">manifest.json</font>、<font color="red">CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1</font>
9. 将<font color="blue">/opt/cloudera/parcel-repo</font>目录下的<font color="blue">CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1</font>文件改名为<font color="red">CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha</font>（即：把后缀从sha1改成sha）
10. 接下来初始化CM数据，登录mariadb：

mysql -u root -p123456

11. 给temp账号赋予权限，并且刷新：

create user 'temp'@'%' identified by 'temp';
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush privileges;

12. 退出mariadb交互；
13. 进入目录<font color="blue">/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/</font>：

cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/

14. 执行以下命令即可初始化CM的数据：

./scm_prepare_database.sh mysql temp -h master -utemp -ptemp --scm-host master scm scm scm

15. 提示操作成功：

    
    在这里插入图片描述
    

    至此，master设置完毕，接下来设置worker1和worker2

worker1机器上的设置（worker2也这样设置）

1. 创建本地parcel缓存文件夹：

mkdir -p /opt/cloudera/parcels

2. 给文件夹赋权限：

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

worker1和worker2都做上述设置，接下来就可以启动CDH了。

启动server(master机器)

1. SSH登录master；
2. 进入启动命令所在目录：

cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/

3. 启动server：

./cloudera-scm-server start

4. 启动成功的提示信息如下：

5.

启动agent(worker1和worker2机器)

1. SSH登录worker1；
2. 进入启动命令所在目录：

cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/

3. 启动agent：

./cloudera-scm-agent start

4. 启动成功的提示信息如下：

   
   在这里插入图片描述
5. 然后登录worker2，重复上述操作；

至此，CDH部署和启动完成，可以开始设置了；

设置CDH

1. 浏览器访问地址：<font color="blue">http://192.168.133.154:7180</font> ，会提示登录，账号和密码都是<font color="red">admin</font>：

   
   在这里插入图片描述

2. 接下来的页面是许可条款，选择接受后进入选择版本的页面，我这里选择的是试用版，如下图：

   
   在这里插入图片描述

3. 即将部署多个服务：

   
   在这里插入图片描述

4. 进入选择机器的页面，如下图红框所示，将worker1和worker2都勾选上：

   
   在这里插入图片描述

5. parcel设置，如下所示：

   
   在这里插入图片描述

6. 由于之前已经将parcel文件下载到master机器上，因此下载安装包的进度一开始就是百分之百，耐心等待后面的分配、解压、激活等步骤自动完成：

   
   在这里插入图片描述

7. 集群安装完成，如下图，可以按照提示进行优化：

   
   在这里插入图片描述

8. 部署服务，这里我选择了所有服务：

   
   在这里插入图片描述

9. 角色设置页面，将没有分配主机的服务分配到某一台机器上，我这里都选择了worker1：

   
   在这里插入图片描述

10. 数据库的设置页面，由于只在master安装了mysql，所有我这里全部填写的是master：

    
    在这里插入图片描述

11. 详细的设置页面，请按照实际情况设置：

    
    在这里插入图片描述

12. 开始启动各个服务，等待完成：

    
    在这里插入图片描述

13. 所有服务正常后，状态页面如下图所示：

    
    在这里插入图片描述

至此，CDH5部署和启动都已完成，但实际的启动过程并非一帆风顺，HDFS、Hive等服务都可能启动失败，下一篇文章会将这些问题以及解决方法都列出来；

欢迎关注公众号：程序员欣宸

微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界...
https://github.com/zq2599/blog_demos