系统环境：CentOS 6.5
内存：主节点4G及以上，其他节点2G及以上
准备工作
以下步骤要在所有节点上执行
1.修改hostname
vi /etc/sysconfig/network
2.关闭SELinux
vi /etc/selinux/config
#修改SELinux=disabled
3.关闭防火墙
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
4.配置网络
vi /etc/sysconfig/network-script/ifcfg-eth0
#修改NM_CONTROLLED="no"，ONBOOT="yes"
service network restart
#重启服务
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#配置静态IP
5.修改Hosts文件
127.0.0.1 localhost
192.168.1.101 master
192.168.1.102 slave1
192.168.1.102 slave2
6.配置ssh免登陆
#生成ssh免登陆密钥
ssh-keygen -t rsa
#执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
#将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#或
ssh-copy-id -i localhost
7.重启主机
reboot -f
下载安装文件
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
2.下载CM install
3.下载CM rpms
4.下载CDH Parcel文件，只需要下载
- CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
- CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
-
manifest.json
这三个文件。
注意：.sha1文件后缀更改为.sha，同时把内容只保留hash码部分。
Cloudera Manager安装
以下步骤在所有节点执行：
- 将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
- 验证repo文件是否起效
yum list|grep cloudera
#如果列出的不是你安装的版本，执行下面命令重试
yum clean all
yum list | grep cloudera
3.将之前下载的rpms文件拷贝到所有节点下（任意目录）
切换到rpms目录下，执行
yum -y install *.rpm
4.将之前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下（如果没有该目录，请自行创建）
至此，/opt/cloudera/parcel-repo下面有三个文件: CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel
mainfest.json
CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel.sha
以下步骤请只在主节点上执行：
1.将下载好的bin文件拷贝到主节点任意目录下
2.进入该目录，给bin文件赋予可执行权限，并安装
sudo chmod +x ./cloudera-manager-installer.bin
./cloudera-manager-installer.bin
CDH集群安装
CM安装成功后浏览器输入
http://ip:7180,ip是CM安装的主机ip或者主机名。显示如下界面，用户名和密码都输入admin，进入web管理界面。
1.选择部署的版本，这里我们选择免费版的就可以了。
2.一直继续，在选择添加主机界面。输入主机ip或者主机名，点击搜索。
这里如果选择一系列主机可以输入如下的内容：
192.168.1.[101-105]
slave[1-3].com.cn
勾选要添加的主机，继续下一步
3.选择存储库，选择我们下好的版本就行了,其他全选无, JDK不需要勾选。
4.提供SSH登陆凭据，由于CDH会自动管理所有主机间的SSH通讯，所以我们之前并没有手动配置各个节点间的SSH免密登录。在这里统一设置就行了，设置好密码点继续。
5.集群安装，等就好了。
6.安装Parcel到所有主机上，时间会比较长继续等。
7.主机检查
8.安装服务
CDH5提供了你可能需要的各种服务，需要什么启动什么就行了。这里我选择了自定义，添加HBase，HDFS，MapReduce和ZooKeeper，这里大家按照自己的需求选。
9.角色分配
10.数据库设置
CDH默认内嵌了一个数据库，如果你需要MySQL或者Oracle请选择使用自定义数据库，点击测试连接，成功后点继续。
11.审核更改，默认就行了，到这里集群已经安装部署完成了，CDH会自动对你选择的服务进行初始化设置，你也可以稍后自行开启。
初始化完成后，将进入主页面
网友评论