CDH是一套开源的Hadoop Stack封装，提供开箱即用的Hadoop组件平台，结合Cloudera Manager(CM)工具使得集群的安装、扩展、管理、监控变得非常简单方便，使我们可以忽略繁琐的组件安装和配置过程，在大量减少工作量的同时也帮我们避免了很多可能出现的坑。
cloudera
企业级应用强烈建议使用CDH及CM，较小规模的集群建议按实际情况选择（如单独的Spark计算集群，用CDH反而会变得繁琐），所以说还是根据自身的需求进行架构和选择
环境及资源准备
软硬件环境：
- CentOS 7.X
- CDH 5.14（其他版本同理，下面所有资源和操作都使用相同版本即可）
节点信息：
192.168.10.10 node10
192.168.10.11 node11
192.168.10.12 node12
在此我们选择node10作为主节点
注意：此处说的主节点并非Hadoop Stack组件的主节点，而是CM的主节点，CM通过该主节点控制各个Agent（即slave），具体组件的集群分布可通过CM进行配置及动态调整
安装文件准备：
因为是完全的离线安装，所以我们需要准备好全部的软件包资源
- 下载CM Installer：该文件是CM安装程序的引导文件，提供图形界面帮助我们完成安装
- 下载CM rpm：此目录下的所有文件都需要下载，这些文件即CM组件的软件包和依赖，其中还包含两个JDK，JDK需要使用CM提供的版本，自己安装在系统中的JDK并不能被识别到，会影响后面的Hadoop组件安装和运行
- 下载CM parcel:parcel是CDH对Hadoop及相关组件封装的打包文件，即Hadoop组件的安装文件，
这里需要下载的文件有3个：- parcel文件：根据自己的系统版本找到对应的文件，该文件大小在1-3GB不等
- parcel文件对应的sha1签名文件
- manifest.json
开始安装
首先，配置各个节点的Host，各节点防火墙。CDH无需进行免密SSH配置
CM Agent安装(所有子节点)
- 建立目录存放安装文件，如这里使用
/root/cdh_5.14，并将对应的安装文件传至该目录，你应该得到：
- 安装所有rpm软件包
cd /root/cdh_5.14
yum install -y *rpm
CM Master安装
-
建立目录存放安装文件，如这里使用
/root/cdh_5.14，并将对应的安装文件传至该目录
赋予cloudera-manager-installer.bin执行权限：chmod u+x cloudera-manager-installer.bin你应该得到：
-
建立parcel目录存放离线的hadoop组件安装包，使用CM默认的：
/opt/cloudera/parcel-repo，并将parcel文件放至该目录，你应该得到：
-
安装所有rpm软件包
cd /root/cdh_5.14
yum install -y *rpm
- 启动CM安装引导程序
cd /root/cdh_5.14
./cloudera-manager-installer.bin
您应该会看到：
此时我们删除
/etc/cloudera-scm-server/db.properties文件重新运行./cloudera-manager-installer.bin即可继续安装。安装时可使用CM内嵌的数据库，若在生产环境上安装则需要外部数据库存储CM及相关组件的信息，一般我们使用Mysql存储，可以在安装完成之后进行修改即可重新执行引导应该能看到：
此时只需要一直下一步进行安装即可，界面会显示安装进度
出现如下界面即表示CM Web UI已安装并启动，接下来的安装可以通过Web UI完成
根据指示访问主节点的
http://192.168.10.10:7180即可打开，若无响应稍等刷新即可。使用默认admin账户登录CM，各种License各种同意即可
此处根据自己的需要，选择对应的版本，我们选择免费版
此处搜索我们集群中的各个节点，包括主节点和子节点，成功后将看到
继续安装，将进入镜像选择
我们已经提前准备好了镜像并已经放到了CM默认的目录，继续安装即可，若镜像未在指定目录，通过界面上的
更多选项按钮修改即可
由于JDK我们已经完成安装，此处直接继续即可
是否使用单用户模式根据自己的情况决定，说明也指出了单用户和多用户的优劣势
进行镜像分发和解压安装
注意：在这一步的安装过程中发现CM一直不识别该镜像，并且尝试去下载镜像，再三检查确认文件本身并无问题，发现CM开始对镜像的操作使用的是
cloudera-scm账户，所以需要把镜像3个文件的归属用户和组都调整为cloudera-scm
cd /opt/cloudera
# 改变文件归属用户和组
chown cloudera-scm:cloudera-scm *
执行该操作后返回第5步，再继续，然后稍等一会儿就可以正常识别了
至此安装CM安装已经完成了，后面根据自己的需要安装组件即可
网友评论