美文网首页
CDH的配置

CDH的配置

作者: 程序媛啊 | 来源:发表于2018-03-24 23:48 被阅读0次

    配置步骤

    有node1、node2、node3三台机器,node1是server、agent,node2、node3是agent

    一、网络环境的配置

    1、新建虚拟机

    2、配置网络,能ping通外网

    3、配置ip和主机名的映射

    二、配置主节点到从节点的免密登录

    1、ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    2、cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    三、关闭防火墙

    1、service iptables stop

    2、chkconfig iptables off(永久关闭防火墙)

    四、SELINUX关闭

    1、执行命令

    setenforce 0
    

    2、vi /etc/selinux/config (SELINUX=disabled)

    五、安装JDK配置环境变量

    1、export JAVA_HOME=/usr/java/jdkXXX

    2、export PATH=JAVA_HOME/bin:PATH

    3、export CLASSPATH=.:JAVA_HOMdE/lib/dt.jar:JAVA_HOME/lib/tools.jar

    六、设置时间同步,分别执行以下命令

    1、cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

    2、ntpdate us.pool.ntp.org

    3、echo "0 */8 * * * /usr/sbin/ntpdate us.pool.ntp.org" >> /var/spool/cron/root

    七、在server的节点上(node1)安装配置mysql

    详见hive的配置

    八、下载第三方依赖包

    yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
    

    九、Cloudera Manager 安装

    1、安装Cloudera Manager Server、Agent (3个节点都安装)

    1、创建文件架

    mkdir /opt/cloudera-manager
    

    2、解压Cloudera Manager的安装包

    tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
    

    2、创建用户cloudera-scm (3个节点都创建)

    3、配置CM Agent

    1、修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host以及server_port

    2、3个节点的都设成server_host=node1,server_port=默认的

    4、配置CM Server数据库

    1、拷贝mysql jar文件到目录 /usr/share/java/

    2、注意jar包名称要修改为mysql-connector-java.jar

    3、在server所在的节点执行下列命令

    1、grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; 
    2、cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
    3、./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm 
    格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
    

    5、创建Parcel目录

    1、 Server节点

    – mkdir -p /opt/cloudera/parcel-repo 
    – chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo 
    

    2、 Agent节点

    – mkdir -p /opt/cloudera/parcels 
    – chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
    

    6、制作CDH本地源

    下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json和CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha,将这三个文件放
    到server节点的 /opt/cloudera/parcel-repo下。
    

    7、启动CM Server、Agent

    • cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ 
    • ./cloudera-scm-server start – Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装 
    • ./cloudera-scm-agent start
    

    8、测试

    • 访问:http://server所在的节点的ip:7180, 
    • 用户名、密码:admin 
    • 若可以访问,则CM安装成功

    相关文章

      网友评论

          本文标题:CDH的配置

          本文链接:https://www.haomeiwen.com/subject/rggccftx.html