美文网首页Hadoop运维日常我爱编程
使用Ambari搭建HDP集群完全参考手册

使用Ambari搭建HDP集群完全参考手册

作者: 咖啡大象不含咖啡 | 来源:发表于2017-12-03 22:43 被阅读805次

    什么是Ambari?

    简单来说:Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。
    这句话基本等于是一句废话。以下是官网的解释:
    The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs.
    这里是Ambari官网:http://ambari.apache.org/

    也就是说:Ambari是一个可以用来简化Hadoop集群创建、管理、监控的一个软件。今天就来介绍如何安装Ambari和如何使用Ambari来部署Hadoop集群。

    预置环境

    • centos 6.x
    • jdk1.8.X
    • 关闭防火墙、
    • 永久关闭selinux
     vim /etc/selinux/config
     将SELINUX=enforcing改成SELINUX=disabled
    
    • 关闭linux swap
    vim /etc/sysctl.conf
    在最后添加: vm.swappiness=0
    
    • 需联网【本文不介绍离线安装,后续更新离线安装教程】
    • Python版本大于等于2.6, centos6.x自带的Python为2.6.6,自动满足该条件
    • 准备至少两台主机,配置好SSH免密登陆,装好JDK,不会配置的同学点我头像看我往期文章
      首先,说在前面,本文为新手教程,尽量简化安装过程,能使用默认配置时就使用默认配置。本文所有步骤均由我测试通过,跟着步骤来的同学请仔细阅读,如果有问题,可通过文末联系方式与我交流。

    安装Ambari

    1. 需要获取 Ambari 的公共库文件(public repository)。登录到 Linux 主机并执行下面的命令,也可以自己手工下载之后上传到相应主机:
    wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo
    

    我装的是2.0.1版本的,追求高版本的同学可直接把上面2.0.1改为自己想要的版本,比如:2.5.2,有哪些版本可到官网上查看。
    将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。

    yum clean all
    yum list|grep ambari
    
    yum源

    上述结果表明公共库已配置成功。然后开始第二步;

    1. 安装ambari server
      如果选择将Ambari server安装在这台机器上,则:
    yum install ambari-server
    
    1. 配置ambari server
      等上述步骤安装完成之后,使用以下命令配置ambari server
    ambari-server setup
    

    这是一个交互环境,记住:

    • 在选择database时,选择内嵌数据库,也就是 Postgres 数据库
    • 默认会安装并使用 Oracle 的 JDK,但是建议选择custom,然后填入你的jdk地址即可,这样会快很多,因为无需下载jdk
    • 指定 Ambari Server 的运行用户为 root
      其他配置均使用默认,即可以直接回车。
    1. 启动ambari server
    ambari-server start
    

    成功启动 Ambari Server 之后,便可以从浏览器登录,默认的端口为 8080。以我的环境为例,在浏览器的地址栏输入 http://hdp1:8080,登录密码为 admin/admin。登入 Ambari 之后的页面如下图。

    ambari向导界面

    部署HDP集群

    1. 点击上述图片中的Launch install Wizard

    2. 选择stack
      我选择 的是HDP2.2,里面的对应的 Hadoop 版本为 2.6.x

    3.指定 Agent 机器(如果配置了域,必须包含完整域名,例如本文环境的域为 example.com),这些机器会被安装 Hadoop 等软件包。配置SSH免密登陆时,会生成一个rsa_id文件,也就是私钥,这里需要指定当时在 Ambari Server 机器生成的私钥。


    填入私钥

    将ambari server这台主机的rsa_id取出来,放在自己的电脑上,如何选择文件将这个私钥导入即可。

    1. confirm hosts
      也就是安装向目的主机安装ambari agent

    5.choose service
    选择你要安装的服务,我这里选择:
    HDFS、Yarn、zookeeper、HBase
    也就是标配。

    6.Assign master和slave
    即:分配哪些机器安装哪些服务

    下面步骤都很简单,一直点击next便可完成。

    安装完之后便可以得到图示结果:


    安装效果

    刚装好时,因为所有服务都没启动,所有全是告警,上图因为我正在启动服务,所有欧HDFS和zookeeper显示无告警。
    7.点击上图Actions >>start all


    Start all
    出现
    Start all

    最后呈现出一个无告警的状态,完美。

    PS:在Start all 阶段,很有可能会出现有些服务无法启动的情况。这时,不要慌张,一般是有些配置不当。我也总结了一些在我的文集内,可查看Hadoop运维笔记,一般都可以解决。

    refer to
    官网


    please feel free to contact me

    相关文章

      网友评论

        本文标题:使用Ambari搭建HDP集群完全参考手册

        本文链接:https://www.haomeiwen.com/subject/zanzbxtx.html