本文主要记录 CDH的离线部署，不对CDH中的概念做解释，所以阅读本文之前，需要对CDH有一定的了解。
1. 环境准备
1.1 所需的软件包
- mysql-connector-java-5.1.47.jar
- mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz
- jdk-8u181-linux-x64.tar.gz
- cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
- cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
- cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
- CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
- CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
- manifest.json
1.1.1 下载地址
parcel : https://archive.cloudera.com/cdh6/6.3.2/parcels/
cm: https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/
1.2 服务器/虚拟机
我这边准备了3台虚拟机
- 192.168.44.128 - 部署 scm-serser 和 scm-agent
- 192.168.44.129 - 部署 scm-agent
- 192.168.44.130 - 部署 scm-agent
2. 所需环境部署
2.1 设置所有节点的hosts⽂件:
vim /etc/hosts
添加如下：
192.168.44.128 vmware128
192.168.44.129 vmware129
192.168.44.130 vmware130
2.2 所有节点部署JDK
不是本文重点，不做过多阐述，要求JDK1.8以上，详见： https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_java_requirements.html#java_requirements
2.3 主节点离线部署数据库
不是本文重点，不做过多阐述，CDH对数据库的版本有要求，我使用的是MySQL，当然也可以部署其他数据库，如PostgreSQL ，oracle，详见： https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_database_requirements.html#cdh_cm_supported_db
2.4 创建数据库
创建CDH的元数据库和⽤户、amon服务的数据库及⽤户
create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
flush privileges;
2.5 数据库驱动
在主节点上把jdbc驱动放到指定的目录并去掉名称上的版本号，CDH会找 /usr/share/java/mysql-connector-java.jar 这个文件，所以我们需要将驱动放到这里
mkdir -p /usr/share/java/
cd /tmp/
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar
3. CDH正式部署
3.1 离线部署cm server及agent
这里解压的包就是上面提到需要下载的三个包：
- cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
- cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
- cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
如果已经有了这3个包，可以跳过这一步，执行下面的3.2 的安装步骤。
所有节点:
mkdir /opt/cloudera-manager
cd /tmp
tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
3.2 安装CM
主节点：
依次安装 daemons server agent
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
从节点：
依次安装 daemons agent
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
3.3 修改配置文件
所有agent节点配置：
vim /etc/cloudera-scm-agent/config.ini
#server_host=localhost
#改为:
server_host=vmware128
主节点修改serverDB的配置:
vim /etc/cloudera-scm-server/db.properties
配置如下:
# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#
# The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql
# The database host
# If a non standard port is needed, use 'hostname:port'
com.cloudera.cmf.db.host=vmware128
# The database name
com.cloudera.cmf.db.name=cmf
# The database user
com.cloudera.cmf.db.user=cmf
#The database user's password
com.cloudera.cmf.db.password=123456
# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL
3.4 主节点部署离线parcel源
安装httpd服务
yum install -y httpd
部署离线parcel源并启动httpd服务
cd tmp/
mkdir -p /var/www/html/cdh6_parcel
mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/
mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
mv manifest.json /var/www/html/cdh6_parcel/
cd /var/www/html/cdh6_parcel/
systemctl start httpd
浏览器访问http://vmware128/cdh6_parcel/查看是否可以访问到 ，后续要用到这个地址配置 parcels
3.5 主节点启动Server服务
启动时间会比较长，日志出现了 INFO WebServerImpl:org.eclipse.jetty.server.AbstractConnector: Started ，就代表启动成功了
systemctl start cloudera-scm-server
tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log
3.6 所有节点启动Agent服务
systemctl start cloudera-scm-agent
3.7 登录web界面
server 和 agent 都启动成功后，在浏览器中访问 http://vmware128:7180 ，初始帐号密码都为 admin
网友评论