美文网首页
Ambari环境配置

Ambari环境配置

作者: hikaty | 来源:发表于2016-09-05 15:35 被阅读0次

    Ambari环境配置
    (2016-08-30)
    1.安装环境说明
    安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.13
    2.操作系统环境准备
    2.1 配置SSH免密码登录
    主节点里root用户登录执行如下步骤:
    ssh-keygen
    cd ~/.ssh/
    cat id_rsa.pub >>authorized_keys
    chmod 700 ~/.ssh
    chmod 600 ~/.ssh/authorized_keys
    先在从节点登录root执行命令:
    mkdir ~/.ssh/
    分发主节点里配置好的authorized_keys到各从节点:
    scp /root/.ssh/authorized_keys root@192.168.62.:/root/.ssh/authorized_keys
    2.2 创建ambari系统用户和用户组
    只在主节点操作
    添加ambari安装、运行用户和用户组,也可以不创建新用户,直接使用root或者系统其他账号
    adduser ambari
    passwd ambari
    2.3 开启NTP服务
    所有集群上节点都需要操作
    yum install ntp
    systemctl is-enabled ntpd
    systemctl enable ntpd
    systemctl start ntpd
    2.4 检查DNS和NSCD
    所有节点都要设置:
    ambari在安装时需要配置全域名,所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)
    vi /etc/hosts
    192.168.62.181 master1 master1.hd
    192.168.62.182 master1 master1.hd
    192.168.62.183 master1 master1.hd
    192.168.62.183 master1 master1.hd
    每台节点里配置FQDN,如下以主节点为例
    vi /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=SY-001.hadoop
    2.5 关闭防火墙
    所有节点都要设置
    Centos 7 命令
    systemctl disable firewalld
    systemctl stop firewalld
    2.6 关闭SELinux
    所有节点都要设置
    查看SELinux状态:
    sestatus
    如果SELinux status参数为enabled即为开启状态
    SELinux status: enabled
    临时关闭,不用重启机器:
    setenforce 0
    修改配置文件需要重启机器:
    vi /etc/sysconfig/selinux
    SELINUX=disabled
    3.制作本地源
    制作本地源只需在主节点上进行即可
    3.1 相关准备工作
    3.1.1安装 Apache HTTP 服务器
    安装HTTP 服务器,允许 http 服务通过防火墙(永久)
    yum install httpd
    firewall-cmd --add-service=http
    firewall-cmd --permanent --add-service=http
    添加 Apache 服务到系统层使其随系统自动启动
    systemctl start httpd.service
    systemctl enable httpd.service
    3.1.2 安装本地源制作相关工具
    yum install yum-utils createrepo
    3.2 下载安装资源
    Ambari 2.2.2 下载资源:

    OS Format URL
    CentOS 7 Base URL http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0

    CentOS 7 Repo File http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ambari.repo

    CentOS 7 Tarball md5 asc http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz

    下载上面列表的中的压缩包,
    需要下载的压缩包如下:
    Ambari 2.2.2
    http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz
    HDP 2.4.2
    http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.2.0/ambari-2.2.2.0-centos7.tar.gz
    HDP-UTILS 1.1.0
    http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
    在httpd网站根目录,默认是即/var/www/html/,创建目录ambari, 并且将下载的压缩包解压到/var/www/html/ambari目录:
    cd /var/www/html/
    mkdir ambari
    cd /var/www/html/ambari/
    tar -zxvf ambari-2.2.2.0-centos7.tar.gz
    tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz
    tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
    3.3 配置ambari、HDP、HDP-UTILS的本地源
    首先下载上面资源列表中的相应repo文件,修改其中的URL为本地的地址,相关配置如下:
    ambari.repo:
    #VERSION_NUMBER=2.2.2.0-460
    [Updates-ambari-2.2.2.0]
    name=ambari-2.2.2.0 - Updates
    baseurl=http://172.31.83.171/ambari/AMBARI-2.2.2.0/centos7/2.2.2.0-460
    gpgcheck=1
    gpgkey=http://172.31.83.171/ambari/AMBARI-2.2.2.0/centos7/2.2.2.0-460/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
    enabled=1
    priority=1
    hdp.repo:

    VERSION_NUMBER=2.4.2.0-258

    [HDP-2.4.2.0]
    name=HDP Version - HDP-2.4.2.0
    baseurl=http://172.31.83.171/ambari/HDP/centos7/2.x/updates/2.4.2.0
    gpgcheck=1
    gpgkey=http://172.31.83.171/ambari/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
    enabled=1
    priority=1
    [HDP-UTILS-1.1.0.20]
    name=HDP Utils Version - HDP-UTILS-1.1.0.20
    baseurl=http://172.31.83.171/ambari/HDP-UTILS-1.1.0.20/repos/centos7
    gpgcheck=1
    gpgkey=http://172.31.83.171/ambari/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
    enabled=1
    priority=1
    将上面的修改过的源放到/etc/yum.repos.d/下面:
    yum clean all
    yum list update
    yum makecache
    yum repolist
    3.4 安装Mysql数据库(省略)
    安装完成后创建ambari数据库及用户,登录root用户执行下面语句:
    create database ambari character set utf8 ;
    CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
    GRANT ALL PRIVILEGES ON . TO 'ambari'@'%';
    FLUSH PRIVILEGES;
    Hive数据库和用户 再执行下面的语句:
    create database hive character set utf8 ;
    CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
    GRANT ALL PRIVILEGES ON . TO 'hive'@'%';
    FLUSH PRIVILEGES;
    安装mysql jdbc 驱动:
    yum install mysql-connector-java
    3.5 安装JDK
    安装解压版JDK,先到官网下载jdk-8u91-linux-x64.tar.gz ,再执行下面命令:
    tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/java/
    vim /etc/profile
    export JAVA_HOME=/opt/java/jdk1.8.0_91
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
    source /etc/profile
    4.进行安装Ambari
    4.1 安装Ambari2.2.2
    4.1.1安装Ambari
    yum install ambari-server
    4.1.2配置Ambari(省略)
    ambari-server setup
    配置完Ambari后,用Ambari用户(上面设置的用户)登录mysql mysql -u ambari -p use ambari source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
    4.1.3启动Amabri
    后续就是集群环境的具体配置(后续补充)

    附录
    Centos 7.2 安装 Mysql 5.7.13

    1. 下载mysql的repo源
      wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
    2. 安装mysql57-community-release-el7-8.noarch.rpm包
      rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps –force
      3.安装mysql
      yum install mysql-server
    3. 启动mysql服务
      查看MySQL服务是否已启动
      service mysqld status
      启动服务
      systemctl start mysqld
    4. 重置root密码
      MySQL5.7会在安装后为root用户生成一个随机密码,而不是像以往版本的空密码。
      可以安全模式修改root登录密码或者用随机密码登录修改密码。下面用随机密码方式
      MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到:
      grep 'temporary password' /var/log/mysqld.log
      修改root用户密码:(MySQL的密码策略比较复杂,过于简单的密码会被拒绝)
      mysql -u root -p
      mysql> Enter password: (输入刚才查询到的随机密码)
      mysql> SET PASSWORD FOR 'root'@'localhost'= "Root-123";
      mysql> exit
      用root新密码登录:mysql -u root –p
    5. 开放3306端口
      允许使用用户名root密码Root-123456从任何主机连接到mysql服务器
      mysql>GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY 'Root-123456' WITH GRANT OPTION;
      mysql>FLUSH PRIVILEGES;
      mysql>exit;

    相关文章

      网友评论

          本文标题:Ambari环境配置

          本文链接:https://www.haomeiwen.com/subject/hsmrettx.html