大数据学习资料领取地址（免费）无套路
第3章 CM安装部署
CM下载地址：http://archive.cloudera.com/cm5/cm/5/
离线库下载地址：http://archive.cloudera.com/cdh5/parcels
注：以下所有操作均使用root用户
2.1 解压cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt
2.2 创建用户cloudera-scm（所有节点）
[root@bigdata111 cloudera-scm-server]# useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
--system 创建一个系统账户
--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户的登录 shell 名
--comment 用户的描述信息
注意：
Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。
2.3 配置CM Agent
vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
#修改CM所在地址（所有节点）
server_host=bigdata111
2.4 配置CM的数据库
1.拷贝mysql jar文件到目录 /usr/share/java/
# mkdir /usr/share/java/
# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
• 注意jar包名称要修改为mysql-connector-java.jar
2. [endif]在mysql中创建cm库
[root@bigdata111 cm-5.12.1]# /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hbigdata111 -uroot -p000000 --scm-host bigdata111 scm scm scm
-h：Database host
-u：Database username
-p：Database Password
--scm-host：SCM server's hostname
2.5 分发cloudera-manager
[root@bigdata111 module]# scp -r /opt/ bigdata112:/opt/module/
[root@bigdata111 module]# scp -r /opt/ bigdata113:/opt/module/
2.6 创建Parcel-repo 目录
1. Servre 节点创建目录/opt/cloudera/parcel-repo
[root@bigdata111 module]# mkdir -p /opt/cloudera/parcel-repo
[root@bigdata111 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
2.拷贝下载文件到/opt/cloudera/parcel-repo
（1）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
（2）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
（3）manifest.json
3.在Agent 节点（bigdata111，bigdata112，bigdata113）创建目录/opt/cloudera/parcels
[root@bigdata111 module]# mkdir -p /opt/cloudera/parcels
[root@bigdata111 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
2.7分发Parcel-repo
[root@bigdata111 opt]# scp -r /opt/cloudera/ bigdata112:/opt/
[root@bigdata111 opt]# scp -r /opt/cloudera/ bigdata113:/opt/
2.8 关闭交换空间 & 大页面空间
#Cloudera建议将交换空间设置为0，过多的交换空间会引起GC耗时的激增，所以还是关闭的为好
echo "vm.swappiness = 0" >> /etc/sysctl.conf
#
echo "10" > /proc/sys/vm/swappiness
#关闭大页面压缩
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
2.9 启动和关闭CM Server&Agent 服务
服务节点：bigdata111
[root@bigdata111 init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [确定]
工作节点：bigdata111\bigdata112\bigdata113
[root@bigdata111 init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动cloudera-scm-agent： [确定]
[root@bigdata112 module]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动cloudera-scm-agent： [确定]
[root@bigdata113 module]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在启动cloudera-scm-agent： [确定]
注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。
[root@bigdata111 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
查看被占用则表示安装成功了！！！
访问http://bigdata111:7180，（用户名、密码：admin）
关闭：
服务节点：bigdata111
[root@bigdata111 init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止cloudera-scm-server： [确定]
工作节点：bigdata111\bigdata112\bigdata113
[root@bigdata111 init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [确定]
网友评论