cloudera manager 5.3.8 集群部署

作者: k小男生 | 来源:发表于2017-11-09 11:09 被阅读0次

    系统环境centos6.8.5

    jdk1.8

    http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.8_x86_64.tar.gz    

    http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel

    http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel.sha1

    http://archive.cloudera.com/cdh5/parcels/5.3.8/manifest.json

    cdh资源下载地址注意版本一定要相同  

    3个节点集群hosts配置:

    192.168.3.87 BJVPC3-87

    192.168.3.88 BJVPC3-88

    192.168.3.89 BJVPC3-89

    Mysql5.6安装 请参考:http://www.cnblogs.com/wangdaijun/p/6132632.html

    安装Cloudera Manager Server和Agent:

    master3.87:/usr/local/src

    tar zxvf cloudera-manager-el6-cm5.3.8_x86_64.tar.gz -C /opt/

    vim /opt/cm-5.3.8/etc/cloudera-scm-agent/config.ini

    更改为master hostname

    下载 mysql 驱动包:

    cd   /opt/cm-5.3.8/share/cmf/lib

    wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

    所有节点添加clouera-scm用户:

    useradd--system--home=/opt/cm-5.3.8/run/cloudera-scm-server/--no-create-home--shell=/bin/false--comment"Cloudera SCM User"cloudera-scm

    准备Parcels 安装CDH5.38f

    cd  /opt/cloudera/parcel-repo

    将CHD5相关的parcel包放到所有节点 /opt/cloudera/parcel-repo目录

    注意CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel.sha1改名为CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel.sha

    初始化数据库:

    cd /opt/cm-5.3.8/share/cmf/schema

    ./scm_prepare_database.sh mysql cm -h127.0.0.1 -uroot -phd123 --scm-hostBJVPC3-87 scm scm scm

    成功后启动server和agent:

    cd /opt/cm-5.3.8/etc/init.d

    ./cloudera-scm-agent start     所有节点都要执行启动agent

    ./cloudera-scm-server start

    登录http://master:7180 管理界面 默认用户名密码 admin:admin



    此处如果出现以下警告,是一个默认环境变量的问题,Cloudera建议将/proc/sys/vm/swappiness设置为0,当前设置为 60。在所有节点执行以下命令: echo 0 > /proc/sys/vm/swappiness


    自定义服务 hbase,hdfs,zk

    保持默认 安装完成在添加其他节点
    都是默认
    安装完成

    http://47.95.194.238:50070/dfshealth.html#tab-overview   hdfs控制台

    参考连接:http://www.ymq.io/2017/09/24/Cloudera-Manager/

    https://www.zybuluo.com/sasaki/note/242142

    安装opentsdb时 有一个注意的地方就是初始化hbase_home是如下这个

    env COMPRESSION=NONE HBASE_HOME=/opt/cloudera/parcels/CDH-5.3.8-1.cdh5.3.8.p0.5/ ./src/create_table.sh


    相关文章

      网友评论

        本文标题:cloudera manager 5.3.8 集群部署

        本文链接:https://www.haomeiwen.com/subject/gcyemxtx.html