CentOS7-Cloudera Manager5.14.1-大数据集群安装

前言

本文主要记录Cloudera Manager5.14.1的安装步骤

需要具有一定基础，一些简单的步骤简略带过

1 服务配置

编号	服务器主机名	IP	配置	用途
1	server01	192.168.137.61	2核4G	Server，安装CM
1	server01	192.168.137.62	2核4G	Agent
1	server01	192.168.137.63	2核4G	Agent

2 基础环境准备

2.1 修改hostname,配置hosts

2.2 关闭防火墙和Selinux

2.3 所有节点SSH无密码登录

2.4 安装同一版本Oracle JDK（1.8）

2.5 所有节点时间同步

2.6 下载安装文件

2.6.1 下载CM安装包

Cloudera Manager下载地址：(选择自己需要的版本)
http://archive.cloudera.com/cm5/cm/5

2.6.2 下载CDH安装包

访问：http://archive.cloudera.com/cdh5/parcels/5.14.0.24/
下载centos 对应的 parcel ，el7表示centos 7 版本

wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1

manifest.json

2.7 安装部署

2.7.1 将CM安装包解压至/opt下(master)

tar xf *.tar.gz -C /opt

2.7.2 为CM建立mysql数据库（master）

yum -y install mariadb-server

MariaDB [(none)]> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
MariaDB [(none)]> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
MariaDB [(none)]> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
MariaDB [(none)]> create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
MariaDB [(none)]> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
MariaDB [(none)]> grant all on *.* to root@"%" Identified by "1234.com";
MariaDB [(none)]> flush privileges;

/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p1234.com --scm-host localhost scm scm scm

2.7.3 创建用户(所有节点)

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.7.4 制作本地源（master）

cp CDH-5.14.0-1.cdh5.10.0.p0.41-el7.parcel  CDH-5.14.0-1.cdh5.10.0.p0.41-el7.parcel.sha1  manifest.json /opt/cloudera/parcel-repo/

mv CDH-5.14.0-1.cdh5.10.0.p0.41-el7.parcel.sha1 CDH-5.14.0-1.cdh5.10.0.p0.41-el7.parcel.sha

2.7.5 拷贝jar包

所有节点

cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

master

cp mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.0/share/cmf/lib/

2.7.6 更改配置（master）

sed -i "s/server_host=localhost/server_host=192.168.137.61/" /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
mkdir /opt/cm-5.10.0/run/cloudera-scm-agent

2.7.7 拷贝到其它节点

scp -r /opt/cm-5.14.0 root@server02:/opt
scp -r /opt/cm-5.14.0 root@server03:/opt

3 启动服务

master

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start

所有节点

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

4 开始安装

4.1 登录

打开浏览器，访问master节点的7180端口

输入用户名和密码admin、admin

安装的时候没有截图，图就用网上的教程里的了，CDH5都差不多，小版本改动不大

4.1.png

4.2 接受协议

4.2.png

4.3 选择版本

4.3.png

4.4 指定主机

4.4.png 4.4-2.png

4.5 选择CDH版本

注：选择在制作本地源时选择的版本，如果选择别的版本的话会去官网下载那样安装速度会很慢

4.5.png 5.1-2.png 5.1-3.png

4.6 检查主机

确保全部验证通过

6.1.png

4.7 选择安装的服务

7.1.png

4.8 角色分配

这里应该根据自己的实际需求和服务器的硬件参数自己选择

8.1.png 8.2.png 8.3.png

4.9 数据库设置

9.1.png 9.2.png

4.10 群集设置

10.1.png 10.2.png

4.11 开始安装

11.1.png 11.2.png

4.12 安装完成

第一次安装完成后，会出现一些配置的警告信息。这些可以根据提示信息更改。

12.1.png

写在后面

这是本人的个人博客，欢迎关注：

CSDN：弓昭的技术博客

简书：弓昭的简书

如果有问题可以Email与我交流

gongzhao1@foxmail.com

参考链接：