Ubuntu16.0.4 手动安装 CDH 5.14.0 （二）

概述

当前所使用的系统为Ubuntu 16.0.4，发行版本为 xenial

准备

下载部署相关软件

• Step 1：下载以下软件

  • Cloudera Manager安装包，这里使用5.14.0版本。

    • cloudera-manager-xenial-cm5.14.0_amd64.tar.gz

  • CDH离线资源包(parcel用安装包)，只下载以下文件即可：

    • CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel
    • CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1
    • manifest.json

  • mysql jdbc连接库

• Step2: 部署软件

mkdir /opt/cloudera-manager
tar -xzvf cloudera-manager-xenial-cm5.14.0_amd64.tar.gz -C /opt/cloudera-manager
mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
cp CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo

最终的目录结构如下所示：

  /opt
    |-/cloudera
    |  |-/parcels
    |  |-/parcel-repo
    |  |  |-CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel
    |  |  |-CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
    |  |  |-manifest.json
    |-/cloudera-manager
    |  |-/cm5.14.0

安装

添加cloudera仓库

• Step 1

从 Cloudera Manager Version and Download Information
找到适合当前操作系统版本的cloudera包文件(这里是
https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list)，
将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list
没有则新建。

• Step 2：安装仓库密钥（可选）

wget https://archive.cloudera.com/cdh5/ubuntu/xenial/amd64/cdh/archive.key -O archive.key
sudo apt-key add archive.key
apt-get update

cloudera manager 安装和配置

• Step 1：安装cloudera server和cloudera agent

sudo apt-get install cloudera-manager-daemons cloudera-manager-server
sudo apt-get install cloudera-manager-agent

• Step2：配置cloudera agent

修改/etc/cloudera-scm-agent/config.ini文件的以下选项：

server_host=master
server_port=7182 #若改端口被占用，改为其它端口

• Step3：添加mysql连接库

cp mysql-connector-java-5.1.45.jar /usr/share/cmf/lib

• Step4：更改文件所有者

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

cloudera manager数据库账户设置

此处假设我们的cloudera manager所使用的数据库为scm,用户名为scm，密码为scm。

• step 1：进入mysql命令界面

mysql -uroot -p

• step 2：使能远程连接到scm账户

grant all on *.* to 'scm'@'%' identified by 'scm' with grant option;
flush privileges;

• step 3

若之前已尝试过安装，会有遗留的文件，删除：

rm -f /etc/cloudera-scm-server/db.* 

使用以下命令创建和配置数据库及数据库用户

/usr/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -proot --scm-host master scm scm scm

说明：该脚本用来创建和配置CMS需要的数据库。各参数是指：

• mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。

• -uroot：root身份运行mysql。-proot：mysql的root密码是root。

• --scm-host localhost ：CMS的主机，一般是和mysql安装的主机是在同一个主机上。

• 最后三个参数是：数据库名，数据库用户名，数据库密码。

注意：如果创建失败，根据报错日志，可能需删去数据库与用户，进行排错。相关命令如下：

select distinct concat('User:''',user,'''@''',host,''';')as query from mysql.user; //查看用户
drop database scmdbn; //删除数据库
drop User 'scmdbu'@'master'; //删除用户

上一步
下一步