美文网首页
ClouderaManager 部署

ClouderaManager 部署

作者: 乔一波一 | 来源:发表于2019-03-05 21:49 被阅读0次

    准备三台裸虚拟机


    系统环境准备

    1、网络配置

    vi /etc/sysconfig/network-scripts/ifcfg-eth0(如下)

    vi /etc/sysconfig/network(修改主机名)

    vi /etc/hosts(修改ip地址,主机名映射)

    2、SSH免密钥登录

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa (-t type 指定要创建的密钥类型。-P passphrase 指定就旧密语 '' 代表没有 -f filename 指定密钥文件名。)

    ssh-copy-id root@node05( 拷贝对应机器的/root/.ssh/下面的公钥到当前主机的/root/.ssh/authorized_keys文件下)

    3、防火墙关闭

    service iptables stop

    chkconfig iptables off(关闭开机自启)

    4、SELINUX关闭(Security-Enhanced Linux linux内核模块)

    setenforce 0

    vi /etc/selinux/config

    5、安装JDK配置环境变量

    export JAVA_HOME=/usr/java/jdk1.7.0_67/jdk1.8.0_181-amd64

    export PATH=$JAVA_HOME/bin:$PATH

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    6、安装NTP

    设置开机启动 chkconfig ntpdate on

    设置时间同步

    ntpdate ntp(1-7).aliyun.com

    7、安装配置mysql(选择一台节点,我选择node05)

    yum install mysql-server

    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'  IDENTIFIED BY '123' WITH GRANT OPTION;(所有的地址都可以使用root用户,密码为123远程访问所有数据库下所有表)

    flush privileges(刷新权限)

    8、下载第三方依赖包(所有节点)

    yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y


    ClouderaManager安装

    上传到虚拟机

    1、安装Cloudera Manager Server、Agent

    mkdir /opt/cloudera-manager(三台机器都创建目录)

    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

    2、创建用户cloudera-scm(所有节点)

    useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    (-s 指定用户登入后所使用的shell。默认值为/bin/bash。-M:不要自动建立用户的登入目录。)

    3、配置CM Agent

    修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host

    4、配置CM Server数据库

    拷贝mysql jar文件到目录 /usr/share/java/(注意jar包名称要修改为mysql-connector-java.jar)

    grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

    cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

    ./scm_prepare_database.sh mysql temp -h node05 -utemp -ptemp --scm-host node05 scm scm scm

    格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

    5、创建Parcel目录

    Server节点

    mkdir -p /opt/cloudera/parcel-repo

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

    Agent节点

    mkdir -p /opt/cloudera/parcels

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

    6、制作CDH本地源

    下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json,将这两个文件放到server节点的/opt/cloudera/parcel-repo下。

    打开manifest.json文件,里面是json格式的配置,找到与下载版本相对应的hash码,新建文件,文件名与你的parel包名一致,并加上.sha后缀,将hash码复制到文件中保存。(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha)

    7、启动CM Server、Agent(先分发在启动)

    cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ 

    ./cloudera-scm-server start

    Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装

    ./cloudera-scm-agent start


    启动需要一些时间,ss -nal 看到7180说明启动完成

    ,浏览器输入node05:7180,用户名密码admin,大功告成!

    相关文章

      网友评论

          本文标题:ClouderaManager 部署

          本文链接:https://www.haomeiwen.com/subject/eyhauqtx.html