一、概述
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户管理界面，支持大部分Hadoop组件，包括HDFS、YARN、Hive、 Hbase、Zookeeper、Flume、Impala等，简化了大数据平台的安装、监控和管理。
CDH官方提供了三种安装方式：
第一种方式，要求服务器能连外网，由于CDH等国外的网站容易出现超时连接错误，耗时也较长，且一旦失败重装也很麻烦。
第二种方式，使用Tarballs安装，需要下载很多包，而且需要手动操作安装和配置相关程序。
第三种方式，可实现全离线安装，而且重装十分方便，也有利于后期的集群统一包升级，因此这也是比较推荐的安装方式。
本系列主要详细介绍CDH集群的搭建步骤，而本文则主要介绍CDH软件包本地YUM源的搭建。
二、系统要求
本文基于CentOS7进行部署，Cloudera Manager版本选择5.8.1，CDH版本5.8.0。高版本的CM可以管理低版本的CDH，但是前提是minor version需要一致，否则可能出现兼容性及稳定性风险。若与笔者版本不一，安装包需根据实际下载。
三、配置步骤
1.下载Cloudera Manager相关安装包
其相关安装包的下载路径：
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.8.1/RPMS/x86_64/
注：实际最好在自己的yum仓库中将jdk-6u31包替换为所需版本，本例替换为jdk-7u67-linux-x64.rpm
2.下载CDH parcel包
根据服务器的系统版本选择对应的parcel包版本，本例使用CentOS7，对应的parcel包为el7版本，对应下载路径：
https://archive.cloudera.com/cdh5/parcels/5.8.0/
3.创建YUM仓库
1）启动httpd服务
vim /etc/httpd/conf/httpd.conf
2）安装createrepo
1.yum install createrepo
3）配置YUM源
将前面下载的CM Server、parcel安装包复制到/opt/www/html指定目录中（CM Server目录位于/opt/www/html/cloudera-manager-5.8.1，CDH目录位于/opt/www/html/cloudera-parcel-5.8.0），做成源，执行createrepo后会在该目录中生成repodata目录。
1.cd /opt/www/html
2.createrepo cloudera-manager-5.8.1
对于cloudera-parcel-5.8.0做类似操作即可。
配置完后，测试浏览器上是否能够访问响应内容。
4）所有需要安装CDH的服务器更新YUM源配置
/etc/yum.repos.d/cloudera-manager-man.repo
[cloudera-manager]
name=Cloudera Manager
baseurl=http://you-server-ip/cloudera-manager-5.8.1/
enabled = 1
gpgcheck = 0
/etc/yum.repos.d/cloudera-parcel-man.repo
[cloudera-parcel]
name=Cloudera Parcel
baseurl=http://you-server-ip/cloudera-parcel-5.8.0/
enabled = 1
gpgcheck = 0
执行以下命令
yum clean metadata
yum makecache
自此，CDH相关安装包的YUM源已经配置好，为之后的离线安装做好了准备。至于环境的准备及CDH组件的安装，会在接下来的文章中介绍。
大家喜欢多多关注，你的关注是我最大的动力，会不定期更新的。
可以关注我的微信公众号：首席数据师。
网友评论