美文网首页我爱编程
Ambari安装与搭建Hadoop

Ambari安装与搭建Hadoop

作者: 这名字取得好 | 来源:发表于2016-07-15 15:45 被阅读4625次

Ambari简介

以下内容摘自百度百科

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

Ambari主要取得了以下成绩:

  • 通过一步一步的安装向导简化了集群供应。
  • 预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
  • 支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
  • 通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
  • 用户界面非常直观,用户可以轻松有效地查看信息并控制集群。

准备工作

需要的工具有:yum rpm scp curl wget pdsh 前几个一般系统都自带了,pdsh需要自己装 

使用如下命令:

sudo yum -y install epel-release 
sudo yum install pdsh
配置hosts

执行命令:

sudo vi /etc/hosts

添加如下内容(根据情况修改,dn1这名字最好和节点服务器的主机名相同,以防后期可能会出主机名不一致的错):

192.168.1.49 master master.hadoop.test 
192.168.1.48 dn1 dn1.hadoop.test 
192.168.1.47 dn2 dn2.hadoop.test
配置ssh免登录

选定master.hadoop.test作为ambari server,需要配置该节点到其它节点的ssh免登录

cd ~  
ssh-keygen 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

一直敲回车,遇到(y/n)?敲y 回车

chmod 700 ~/.ssh  
chmod 600 ~/.ssh/authorized_keys 

配置本地的免登录

scp ~/.ssh/authorized_keys root@dn1:/root/.ssh/ 
scp ~/.ssh/authorized_keys root@dn2:/root/.ssh/ 
其他
setenforce 0  
chkconfig iptables off  
/etc/init.d/iptables stop  
umask 022  

安装Ambari Server

添加yum资源库
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.reposud
cp ambari.repo /etc/yum.repos.d 
yum repolist 
开始安装
sudo yum install ambari-server 
ambari-server setup 

以上两个可能会因为网络原因,Python版本,jdk安装等原因失败
中途会出现选择数据库的选项,选择推荐的
在执行ambari-server setup时出现错误或者感觉里面的选项错误时要重新执行时先执行 ambari-server reset 后在执行 ambari-server setup

启动服务
ambari-server start 

服务启动成功后打开浏览器访问http://本机ip:8080 如: (http://192.168.1.46:8080)
用户名和密码:admin/admin
出现Running server: ***(一些java参数) 可能是jdk的问题
出现启动成功,但是却访问不了的情况,查看日志文件会发现java抛了找不到host的异常,在/etc/hosts里加入 本机ip 主机名 (192.168.1.46 likun)

Hadoop集群搭建搭

搭建集群的按钮


QQ截图20160715103303.png
新建集群

输入集群名称,名字不支持 -号空格等


QQ截图20160715103916.png

版本号选择


QQ截图20160715104258.png
系统的版本不同悬着的os版本也不同
QQ截图20160715104613.png

创建ssh免登陆时,.ssh文件夹下有该文件


QQ截图20160715110426.png
这一步很容易因为配置文件的原因出错(可能节点服务器没设置好dns,导致yum不能使用,也可能节点主机名和先前填写的主机名不一致)
QQ截图20160715113759.png
选择要安装哪些
QQ截图20160715133129.png
要在什么机器上装什么自己选
![QQ截图20160715133847.png](https://img.haomeiwen.com/i2429262/a86030429a33580f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) QQ截图20160715133952.png QQ截图20160715134037.png QQ截图20160715134048.png

正在安装


QQ截图20160715134057.png QQ截图20160715141753.png

监控页面


QQ截图20160715141933.png

相关文章

网友评论

    本文标题:Ambari安装与搭建Hadoop

    本文链接:https://www.haomeiwen.com/subject/vouyjttx.html