美文网首页
Ambari集群搭建demo

Ambari集群搭建demo

作者: renwujie | 来源:发表于2018-08-30 16:37 被阅读0次

    三台主机模仿集群

    主机名和ip设置

    软件准备

    1.Vmware10

    2.Centos7

    3.jdk8

    4.ambari-2.6.0.0-centos7.tar.gz

    5.HDP-2.6.3.0-centos7-rpm.tar.gz

    6.HDP-UTILS-1.1.0.21-centos7.tar.gz

    7.mysql-connector-java-5.1.44-bin.jar

    Linux基础环境

    1.配置hostname配置。

    2.配置network。

    3.配置hosts映射。

    hosts映射修改

    4.关闭防火墙   (三台机子都执行)。

    关闭防火墙

    5.禁用selinux(三台机子都执行)。

    6.修改umask值为0022(三台都执行)。

    umask值修改

    7.ulimit限制资源修改(三台都执行)。

    8.配置集群时间同步

    9.配置集群SSH免密登录

    10.httpd安装(只在n1上执行)。

    11.安装MySQL(只在n1上执行)。

    12.jdk安装(三台都安装)。

    配置ambari源

    1.将ambari、hdp和hdp-utils文件解压并放在/var/www/html/目录中(空间不够的话可以创建软链接)。然后在浏览器中访问(如果不能访问,请检查httpd服务是否开启,并设置了开机启动)。

    测试访问

    2.将ambari.repo和hdp.repo拷贝到/etc/yum.repo.d/目录中。并修改baseurl(模仿原先的配置修改到相应目录就可以了)。

    vi /etc/yum.repo.d/ambari.repo

    vi /etc/yum.repo.d/hdp.repo

    3.将ambari.repo和hdp.repo拷贝到集群其他节点的/etc/yum.repo.d/目录下。

    ambari-server安装

    在n1节点上安装ambari-server。

    yum install ambari-server -y

    配置ambari元数据

    安装ambari-server后就可以配置了,但是配置之前有需要配置ambari的元数据存储。这里是以MySQL作为ambari的元素据存储。首先创建ambari元数据用户并赋予权限。

    mysql -u root -p

    CREATEUSER 'ambari'@'localhost' IDENTIFIED BY 'ambari'; 

    GRANTALL PRIVILEGES ON *.* TO 'ambari'@'localhost'; 

    CREATEUSER 'ambari'@'%' IDENTIFIED BY 'ambari'; 

    GRANTALL PRIVILEGES ON *.* TO 'ambari'@'%'; 

    CREATEUSER 'ambari'@'master' IDENTIFIED BY 'ambari'; 

    GRANT ALL PRIVILEGES ON *.* TO 'ambari'@' master ';

    FLUSH PRIVILEGES;

    然后用ambari用户登录,创建ambari元数据库并建表。

    mysql -u ambari -p

    CREATE DATABASE ambari;

    use ambari;

    source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

    如果Ambari后续要安装Hive的话,需要配置Hive元数据,不安装的话可以跳过。首先将mysql-java-connector拷贝到如下三个目录中。

    /var/lib/ambari-server/resources/

    /usr/share/java/

    /usr/lib/ambari-server/

    然后执行:

    ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.44-bin.jar

    # mysql-u root -p

    CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

    GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';

    CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';

    GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

    CREATE USER 'hive'@'tahdp1'IDENTIFIED BY 'hive';

    GRANT ALL PRIVILEGES ON *.* TO 'hive'@'tahdp1';

    CREATE DATABASE hive_db_name;

    配置ambari-server。

    ambari-server setup

    配置ambari-server

    启动ambari。

    启动ambari-server

    登录web,账号密码默认:admin。

    ,登录

    安装。

    开始安装 起个名字 选择版本 安装选线 认证Host 选择安装服务 节点规划 自定义Slaves和cCients 自定义服务配置 review 安装并启动

    安装完成启动时有可能会出错。这时点击Net就好,可以随后手动重启或者排除错误。

    安装成功但启动报错

    所有服务启动成功。

    安装过程可能出现的问题

    1.重启后,ambari-server能启动但是无法监控到任何服务的信息,无法管理服务。如下图。

    无法通信

    查看日志如下。

    无法连接到n1

    网上查到很多解决方式,如更新openssl版等,但未能解决。最终解决方式如下。修改/etc/ambari-agent/conf/ambari-agent.ini文件然后再重启ambari-agent(ambari-agent restart,agent日志报这个错的host都要修改,都要重启)。

    如果还不行,把/etc/python/cert-verification.cfg的verify的值改为disable,然后重启ambari-agent。其实原因是因为ambari-agent和ambari-server之间的通信有问题。所以在报错的agent节点的配置文件中加了force_https_protocol=PROTOCOL_TLSv1_2后就好了。

    > reference

    相关文章

      网友评论

          本文标题:Ambari集群搭建demo

          本文链接:https://www.haomeiwen.com/subject/lsoziftx.html