什么是Ambari?
简单来说:Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。
这句话基本等于是一句废话。以下是官网的解释:
The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs.
这里是Ambari官网:http://ambari.apache.org/
也就是说:Ambari是一个可以用来简化Hadoop集群创建、管理、监控的一个软件。今天就来介绍如何安装Ambari和如何使用Ambari来部署Hadoop集群。
预置环境
- centos 6.x
- jdk1.8.X
- 关闭防火墙、
- 永久关闭selinux
vim /etc/selinux/config
将SELINUX=enforcing改成SELINUX=disabled
- 关闭linux swap
vim /etc/sysctl.conf
在最后添加: vm.swappiness=0
- 需联网【本文不介绍离线安装,后续更新离线安装教程】
- Python版本大于等于2.6, centos6.x自带的Python为2.6.6,自动满足该条件
- 准备至少两台主机,配置好SSH免密登陆,装好JDK,不会配置的同学点我头像看我往期文章
首先,说在前面,本文为新手教程,尽量简化安装过程,能使用默认配置时就使用默认配置。本文所有步骤均由我测试通过,跟着步骤来的同学请仔细阅读,如果有问题,可通过文末联系方式与我交流。
安装Ambari
- 需要获取 Ambari 的公共库文件(public repository)。登录到 Linux 主机并执行下面的命令,也可以自己手工下载之后上传到相应主机:
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo
我装的是2.0.1版本的,追求高版本的同学可直接把上面2.0.1改为自己想要的版本,比如:2.5.2,有哪些版本可到官网上查看。
将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。
yum clean all
yum list|grep ambari
yum源
上述结果表明公共库已配置成功。然后开始第二步;
- 安装ambari server
如果选择将Ambari server安装在这台机器上,则:
yum install ambari-server
- 配置ambari server
等上述步骤安装完成之后,使用以下命令配置ambari server
ambari-server setup
这是一个交互环境,记住:
- 在选择database时,选择内嵌数据库,也就是 Postgres 数据库
- 默认会安装并使用 Oracle 的 JDK,但是建议选择custom,然后填入你的jdk地址即可,这样会快很多,因为无需下载jdk
- 指定 Ambari Server 的运行用户为 root
其他配置均使用默认,即可以直接回车。
- 启动ambari server
ambari-server start
成功启动 Ambari Server 之后,便可以从浏览器登录,默认的端口为 8080。以我的环境为例,在浏览器的地址栏输入 http://hdp1:8080,登录密码为 admin/admin。登入 Ambari 之后的页面如下图。
部署HDP集群
-
点击上述图片中的Launch install Wizard
-
选择stack
我选择 的是HDP2.2,里面的对应的 Hadoop 版本为 2.6.x
3.指定 Agent 机器(如果配置了域,必须包含完整域名,例如本文环境的域为 example.com),这些机器会被安装 Hadoop 等软件包。配置SSH免密登陆时,会生成一个rsa_id文件,也就是私钥,这里需要指定当时在 Ambari Server 机器生成的私钥。
填入私钥
将ambari server这台主机的rsa_id取出来,放在自己的电脑上,如何选择文件将这个私钥导入即可。
- confirm hosts
也就是安装向目的主机安装ambari agent
5.choose service
选择你要安装的服务,我这里选择:
HDFS、Yarn、zookeeper、HBase
也就是标配。
6.Assign master和slave
即:分配哪些机器安装哪些服务
下面步骤都很简单,一直点击next便可完成。
安装完之后便可以得到图示结果:
安装效果
刚装好时,因为所有服务都没启动,所有全是告警,上图因为我正在启动服务,所有欧HDFS和zookeeper显示无告警。
7.点击上图Actions >>start all
Start all
出现
Start all
最后呈现出一个无告警的状态,完美。
PS:在Start all 阶段,很有可能会出现有些服务无法启动的情况。这时,不要慌张,一般是有些配置不当。我也总结了一些在我的文集内,可查看Hadoop运维笔记,一般都可以解决。
refer to
官网
please feel free to contact me
网友评论