1.集群节点5台

hostname      ip             mem   cpu     dish
hadoop001 192.168.*.** 　8G  2*E5620 4*2TB
hadoop002 192.168.*.** 　8G  2*E5620 4*2TB
hadoop003 192.168.*.** 　1G 2*E5620 2*2TB
hadoop004 192.168.*.**　 7G  2*E5620 2*2TB
hadoop005 192.168.*.** 　8G  2*E5620 2*2TB

2.角色分配：

集群server节点：001
集群agent节点：001,hadoop002,hadoop003,hadoop004,hadoop005

3.集群基础配置说明：

所有节点配置要求：

序号	项目	配置细节
1	Linux OS	CentOS 6.5
2	配置163yum源	1. cd /etc/yum.repos.d 2. mv CentOS-Base.repo CentOS-Base.repo.backup 3. wget http://mirrors.163.com/.help/CentOS6-Base-163.repo 4. mv CentOS6-Base-163.repo CentOS-Base-163.repo 5. yum clean all 6. yum makecache
3	磁盘挂载	系统盘：各目录正常分配，剩余磁盘空间全部分给目录/data 数据磁盘：一个数据磁盘挂载为一个目录，直接挂载到根目录下，为：/data1….../data12
4	磁盘IO优化	需要使用noatime选项挂载磁盘，表示执行读操作时，不更新文件的访问时间，可以显著提供性能。
5	增加Linux打开文件数	ulimit –a可查看：open files (-n) 655350 ulimit打开文件数目增加到：655350
6	永久关闭linux swap	cat /proc/sys/vm/swappiness sysctl -w vm.swappiness=0 vi /etc/sysctl.conf vm.swappiness=0 sysctl -p /etc/sysctl.conf
7	永久关闭SElinux	vim /etc/sysconfig/selinux setenforce 0
8	取消CPU节能模式	取消CPU的节能运行模式
9	网络配置	配置外网、内网IP、DNS，Gateway。如果没有本地yum server，服务器需要访问外网，通过yum从外网安装软件包。
10	hostname	hostname命名规则按照运维部门规定，不要包含横线、下划线。例如：hadoop001 vim /etc/sysconfig/network HOSTNAME=hadoop001
11	多网卡绑定	将多块网卡做绑定，只需要内网IP，不需要外网IP
12	用户权限配置	详见附录：用户权限配置说明
13	ntp服务配置	详见附录：ntp服务配置
14	安装rpcbind postgresql-server	yum install -y postgresql-server rpcbind 配置服务rpcbind开机启动：chkconfig rpcbind on
15	设置hosts	vim /etc/hosts 192.168.28.100 hadoop001 192.168.28.76 hadoop005
16	下载安装文件	1.下载地址详见附录：安装文件下载地址 (当前文件已经下载到目录：hadoop001:/opt/hadoop-install) 2.分发到各个节点
17	安装rpm包（所有节点）	进入目录： 1.cd /opt/hadoop-install/cm/5.3.2/RPMS/x86_64 2.执行：rpm -ivh ./*.rpm
18	复制parcel（仅hadoop001节点）	下载:http://archive.cloudera.com/cdh5/parcels/5.3.2/下的文件： 1.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel 2.CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1 3.manifest.json 将这三个文件copy到 hadoop001:/opt/cloudera/parcel-repo目录下 4.修改文件名称 mv CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha1 CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha
19	配置cloudera-scm-server自启动	执行：chkconfig cloudera-scm-server on

附录

2.配置NTP服务

集群中所有主机必须保持时间同步，具体思路如下：
hadoop001节点作为ntp服务器主节点与外界对时中心同步时间,所有节点以hadoop001节点为基础同步时间。

1.所有节点：yum install ntp
2.配置开机启动：chkconfig ntpd on
检查是否设置成功：chkconfig --list
ntpd 其中2-5为on状态就代表成功。
3.主节点配置
在配置之前，先使用ntpdate手动同步一下时间
执行：ntpdate -u 65.55.56.206
配置文件位置：vi /etc/ntp.conf

# ntp服务只有一个配置文件，不需要的配置都用#注掉
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

4.启动服务，执行如下命令： service ntpd start
5.检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
6.配置ntp客户端（所有agent节点）
配置文件位置：vi /etc/ntp.conf

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server hadoop001
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

手动同步一下时间： ntpdate -u hadoop001 (主节点ntp服务器)
6.启动服务： service ntpd start