Hadoop 2.6.0分布式环境安装

作者: 明月的味道 | 来源:发表于2016-07-20 17:01 被阅读432次

0x00 准备工作

hadoop-2.6.0.tar.gz以及zookeeper-3.4.8.tar.gz

Apache网站上提供的Hadoop包是32位的，关于如何在64位机器上如何重新编译Hadoop，请参考我的上一篇文章：编译Hadoop2.6.0

说明：Hadoop和Zookeeper的工作目录分别为：

/opt/hadoop-2.6.0

/opt/zookeeper-3.4.8

下图是关于Hadoop HDFS2.x HA整个架构的描述：

HDFS 2.x HA

关于Hadoop1.x和Hadoop2.x的异同，这里不再描述，不懂的话请自行Google或参考Apache官方文档。

0x01 安装环境介绍

我们用5个节点来完成Hadoop2.6.0的分布式安装。如下图：

nodename-hostmae-ipaddress

我们用1来表示每个节点所拥有的角色。

architecture

NN: NameNode DN: DataNode JN: JournalNode ZK: Zookeeper

ZKFC: DFSZKFailoverController

RM: ResourceManager NM: NodeManager

0x02 安装

--安装前准备

[1] 修改主机的hostname

修改hostname，只修改一处就行！[/etc/sysconfig/network]

这里纠正一下上一篇文章里提到的修改hostname的问题。如果按照上次修改hostname的方法，到最后运行Hadoop的时候，会遇到各种问题。因此hostname这个地方还是非常重要的！

[2] 修改hosts文件(/etc/hosts)

添加以下记录：

192.168.187.128 nn.athrob.com

192.168.187.129 snn.athrob.com

192.168.187.130 dn1.athrob.com

192.168.187.131 dn2.athrob.com

192.168.187.132 dn3.athrob.com

[3] JDK环境变量设置

这个不多说，不会请百度或Google。

--文件配置

关于一些配置文件内容的理解，可以参考hadoop的user guide。

我们采用在一台机器上修改好相应的配置文件，然后远程拷贝到其他机器的方法来完成Hadoop2.6.0的完全分布式安装。

以下所有的配置，均在Node1这个节点上配置，然后在远程拷贝到相应的其他节点上去。

[1] 修改 hadoop-env.sh，yarn-env.sh中的JAVA_HOME

[2] 修改hdfs-site.xml，配置如下：

hdfs-site.xml

[3] 修改core-site.xml，配置如下：

core-site.xml

[4] 修改mapred-site.xml，配置如下：

mapred-site.xml

[5] 修改yarn-site.xml，配置如下：

yarn-site.xml

[6] 修改slaves，配置如下：

slaves

--Zookeeper配置

从前面可以看到，Zookeeper节点在Node1,Node2,Node3上。因此我们也是在Node1上配置好之后，再远程拷贝到Node2和Node3上。

首先加上Zookeeper环境变量

export ZK_HOME=/opt/zookeeper-2.4.8

export PATH=$PATH:$ZK_HOME/bin

关于Zookeeper的配置内容理解，可以参考zookeeper的guide。

zookeeper的配置目录为：zookeeper-3.4.8/conf

配置文件为：zoo.cfg

解压好的zookeeper没有zoo.cfg这个文件，但是有zoo_sample.cfg，因此我们复制它就OK。

cp zoo_sample.cfg zoo.cfg

注释掉dataDir=/tmp/zookeeper

添加

dataDir=/opt/zookeeper

server.1=nn.athrob.com:2888:3888

server.2=snn.athrob.com:2888:3888

server.3=dn1.athrob.com:2888:3888

由于/opt/zookeeper这个文件夹不存在，因此，我们要创建一个。

mkdir /opt/zookeeper

zoo-myid

从zookeeper的文档我们可以看到，在它的工作目录下，需要一个myid的文件，但是这个文件现在是没有的，因此我们要创建一个。

touch /opt/zookeeper/myid

文件内容添加server的ID：1

因此，我们把zookeeper的配置文件从Node1拷贝到Node2，Node3之后，也要对应的修改myid文件中的内容。

由于前面我们配置的是：

【server.2=snn.athrob.com:2888:3888 】 --对应Node2】

【server.3=dn1.athrob.com:2888:3888 】 --对应Node3】

所以，Node2中myid文件内容是2；相应的Node3中myid文件内容就是3。

--运行

$在运行之前，我们需要吧Hadoop整个目录从Node1拷贝到Node2,Node3,Node4,Node5.

scp -r hadoop-2.6.0 root@snn.athrob.com:/opt/

scp -r hadoop-2.6.0 root@dn1.athrob.com:/opt/

scp -r hadoop-2.6.0 root@dn2.athrob.com:/opt/

scp -r hadoop-2.6.0 root@dn3.athrob.com:/opt/

$以及拷贝Zookeeper和相应的配置目录

scp -r /opt/zookeeper-3.4.8 root@snn.athrob.com:/opt/

scp -r /opt/zookeeper-3.4.8 root@dn1.athrob.com:/opt/

注：拷贝zookeeper的安装目录

scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/

scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/

注：拷贝zookeeper的dataDir，不要忘记在Node2,Node3上修改myid文件中的内容！

$在Node1,Node2,Node3节点上启动Zookeeper

zkServer.sh start

$在Node3,Node4,Node5节点上启动JournalNode

/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start journalnode

$在Node1节点上格式化NameNode

/opt/hadoop-2.6.0/bin/hadoop namenode -format

$然后启动该NameNode

/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start namenode

$在没有格式化NameNode的Node2节点上复制Node1节点的fsimage

/opt/hadoop-2.6.0/bin/hdfs namenode -bootstrapStandby

注：在执行-bootstrapStandby之前请确保Node1节点上的NameNode已经正常启动！

$然后在其中一个NameNode节点（Node1或Node2）上初始化zkfc

/opt/hadoop-2.6.0/bin/hdfs zkfc -formatZK

如果没有初始化zkfc，启动完成后发现log日志里报这样一个错误：

org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initialize ZooKeeper.

#############################################################

如果没有任何问题的话，hadoop就能顺利启动运行了！