美文网首页
ClouderaManager 部署

ClouderaManager 部署

作者: 乔一波一 | 来源:发表于2019-03-05 21:49 被阅读0次

准备三台裸虚拟机


系统环境准备

1、网络配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0(如下)

vi /etc/sysconfig/network(修改主机名)

vi /etc/hosts(修改ip地址,主机名映射)

2、SSH免密钥登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa (-t type 指定要创建的密钥类型。-P passphrase 指定就旧密语 '' 代表没有 -f filename 指定密钥文件名。)

ssh-copy-id root@node05( 拷贝对应机器的/root/.ssh/下面的公钥到当前主机的/root/.ssh/authorized_keys文件下)

3、防火墙关闭

service iptables stop

chkconfig iptables off(关闭开机自启)

4、SELINUX关闭(Security-Enhanced Linux linux内核模块)

setenforce 0

vi /etc/selinux/config

5、安装JDK配置环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_67/jdk1.8.0_181-amd64

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6、安装NTP

设置开机启动 chkconfig ntpdate on

设置时间同步

ntpdate ntp(1-7).aliyun.com

7、安装配置mysql(选择一台节点,我选择node05)

yum install mysql-server

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'  IDENTIFIED BY '123' WITH GRANT OPTION;(所有的地址都可以使用root用户,密码为123远程访问所有数据库下所有表)

flush privileges(刷新权限)

8、下载第三方依赖包(所有节点)

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y


ClouderaManager安装

上传到虚拟机

1、安装Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager(三台机器都创建目录)

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户cloudera-scm(所有节点)

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(-s 指定用户登入后所使用的shell。默认值为/bin/bash。-M:不要自动建立用户的登入目录。)

3、配置CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host

4、配置CM Server数据库

拷贝mysql jar文件到目录 /usr/share/java/(注意jar包名称要修改为mysql-connector-java.jar)

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node05 -utemp -ptemp --scm-host node05 scm scm scm

格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

5、创建Parcel目录

Server节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、制作CDH本地源

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,将这两个文件放到server节点的/opt/cloudera/parcel-repo下。

打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,将hash码复制到文件中保存。(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha)

7、启动CM Server、Agent(先分发在启动)

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ 

./cloudera-scm-server start

Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装

./cloudera-scm-agent start


启动需要一些时间,ss -nal 看到7180说明启动完成

,浏览器输入node05:7180,用户名密码admin,大功告成!

相关文章

网友评论

      本文标题:ClouderaManager 部署

      本文链接:https://www.haomeiwen.com/subject/eyhauqtx.html