Centos6.9离线安装CDH5.13.1

一、软件准备

1. centos6.9
2. jdk1.8
3. mysql5.6
4. cm-5.13.1
5. cdh-5.13.1

6. spark2.2
   二、网络配置（所有节点）
   修改/etc/sysconfig/network文件，设置主机名为hadoop-[01~03]，禁止ipv6

   
   
   

   重启网络服务生效

service network restart

配置静态IP（略）
三、修改hostname及hosts（所有节点）

reboot

四、关闭防火墙和selinux（所有节点）
关闭防火墙

chkconfig iptables off

关闭SELINUX
设置SELINUX=disabled

重启服务器后生效

reboot

五、免密登录（所有节点）

1. 先在hadoop-01上：

ssh-keygen -t rsa  #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop-01  #将公钥拷贝到本机的authorized_keys上

2. 再在其他节点上分别执行：

ssh-keygen -t rsa  #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop-01  #注意此处不变，将公钥拷贝到hadoop-01的authorized_keys上

3. 在hadoop-01上，将authorized_keys分发到其他节点服务器：

scp ~/.ssh/authorized_keys root@hadoop-02:~/.ssh/
scp ~/.ssh/authorized_keys root@hadoop-03:~/.ssh/

六、ntp时间同步服务安装（所有节点）

1. ntp安装

yum install ntp -y

2. 修改ntp服务配置文件

#指定10.0.0.5 为同步ntp的主机
 restrict 10.0.0.5 mask 255.255.255.192 notrap nomodity
  #指定10.0.0.5 为同步ntp的优先服务器
 server 10.0.0.5 prefer
 server 127.127.1.0
  #指定同步的等级
 fudge 127.127.1.0 stratum 10

3. 在其他主机上，设置/etc/ntp.conf

  server 10.0.0.5 prefer

4. 在主服务器，客户机上，都要开启ntpd服务

 chkconfig  ntpd  on
 service ntpd start

七、安装jdk1.8（所有节点）

1. 卸载自带的OpenJdk
   使用rpm -qa | grep java查询java相关的包，并rpm -e --nodeps 包名卸载
2. 将下载的安装包分发到各个节点
3. 解压jdk到/usr/java目录中

tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

4. 配置环境变量
   修改/etc/profile文件，在最后加上以下配置

export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

使文件生效

source /etc/profile

5. 查看jdk版本

java -version

八、安装mysql5.6（主节点）

1. 解压

tar -zxvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz

2. 拷贝至/usr/local/mysql中

cp mysql-5.6.39-linux-glibc2.12-x86_64 /usr/local/mysql -r

3. 添加系统mysql组和mysql用户

groupadd mysql
useradd -r -g mysql mysql

4. 修改当前目录拥有者为mysql，安装数据库
   进入/usr/local/mysql目录中

chown -R mysql:mysql ./
./scripts/mysql_install_db --user=mysql

5. 修改权限
   修改当前目录拥有者为root用户：

chown -R root:root ./

修改当前data目录拥有者为mysql用户：

chown -R mysql:mysql data

6. 将mysql添加到开机服务

cp support-files/mysql.server /etc/init.d/mysql

7.设置mysql开机自启

chkconfig --add mysql

8. 启动mysql服务

service mysql start

9. 修改mysql的root密码

./bin/mysqladmin -u root password 'root'

出现错误

添加client解决

[client]
port=3306
socket=/var/lib/mysql/mysql.sock

10. 把mysql客户端放到默认路径

ln -s /usr/local/mysql/bin/mysql /usr/local/bin/mysql

11.创建需要的数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

12. 授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to'root'@'%' identified by 'root' with grant option;
flush privileges;

九、正式部署
安装CM

1. 解压clouder-manager包到/opt（所有节点）

tar -zxvf cloudera-manager-el6-cm5.13.1_x86_64.tar.gz -C /opt

2. 创建cloudera-scm用户（所有节点）

useradd --system --home=/opt/cm-5.13.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3. 放入mysql驱动包（所有节点）

cp mysql-connector-java-5.1.46-bin.jar /opt/cm-5.13.1/share/cmf/lib/

4. 初始化cm数据库（主节点）

/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

5. 修改Agent配置文件（所有节点）

   
   

安装CDH

1. 准备Parcels，用以安装CDH5
2. 将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）（主节点）
   相关包为：

CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1
manifest.json

注意：需要将CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1更名为CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha

3. 启动
   在主节点上执行

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server start

在所有节点上执行

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

4. CM的端口为7180

5. 可视化安装
   出现以下警告

   
   
6. 在受影响的主机上执行以下命令：

echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

7. 一步一步安装，建议组件一个一个添加
   十、Spark2.2离线安装
8. 将csd包上传至/opt/cloudera/csd目录，并且修改文件的用户和组（所有节点）
   注意：如果本目录中有其他jar包，删除或者移到其他目录。

chgrp cloudera-scm SPARK2_ON_YARN-2.2.0.cloudera1.jar
chown cloudera-scm SPARK2_ON_YARN-2.2.0.cloudera1.jar

2. 上传parcel包到机器的/opt/cloudera/parcel-repo目录下（主节点）
3. 注意：如果有其他的安装包，不用删除 ，但是如果本目录下有其他的重名文件比如manifest.json文件，把它重命名备份掉。
4. 关闭CDH集群
5. 重启cm，重启agent
   在主节点上执行

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server restart

在所有节点上执行

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent restart

6. 在管理界面上点击 主机->Parcel页面，查看是否有spark2，点击分配，分配完后点击激活

   
   

7. 激活后点击添加服务：spark2，到此cdh5.13.1集成spark2.2完成

8. 建议重启集群和cm，让配置文件重新加载（个人观点）

9. 运行sparkPi实例

spark2-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera1.jar 100

另外：
1.在centos7.x上面安装CM5的时候，centos7.x的命令有部分不一致。并且centos7.x加大了权限管控，所以在安装的时候会有大量的权限需要手动配置，尤其是在安装HDFS的时候。
基础命令：

su - hdfs
hadoop fs -chmod -R 777 需要权限文件路径

2.如果在云服务器上面安装，如果你们的云不能关闭防火墙，请在云服务器管理页面手动配置端口的出站和入站规则。为了云服务器的安全建议需要什么端口配置什么端口，一个一个配。