环境介绍

hadoop001：192.168.199.102

hadoop002：192.168.199.103

hadoop003：192.168.199.104

HostName配置：

sudo vi /etc/sysconfig/network

NETWOKRING=yes

HOSTNAME=hadoop001

hostname和ip地址的设置：sudo vi /etc/hosts

192.168.199.102   hadoop001

192.168.199.103   hadoop002

192.168.199.104   hadoop003

各节点角色分配：

hadoop001：NameNode / DataNode   ResourceManager / NodeManager

hadoop002：DataNode   NodeManager

hadoop003：DataNode   NodeManager

---

前置配置

1）ssh免密码登录

在每台机器上都要运行：ssh-keygen   -t  rsa

2）以hadoop001为主机器

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop0001

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop0002

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop0003

3)jdk安装

在hadoop001机器上解压jdk压缩包，并设置JAVA_HOME到系统环境变量

---

集群搭建

1）hadoop环境配置分发

Hadoop安装

在hadoop001机器上解压hadoop压缩包，并设置HADOOP_HOME到系统环境变量

配置hadoop-env.sh

export JAVA_HOME=/usr/hadoop/app/jdk1.7.0_79

配置core-site.xml

    <property>

        <name>fs.default.name</name>

        <value>hdfs://10.6.24.143:8020</value>

    </property>

配置hdfs-site.xml

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/home/hadoop/app/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/home/hadoop/app/tmp/dfs/data</value>

    </property>

配置yarn-site.xml

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

<---分布式和伪分布式只有下面的这一点区别-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>机器别名或者ip</value>

    </property>

配置mapred-site.xml

  <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

配置集群节点slaves，这里也是跟伪分布式有区别的地方

hadoop001

hadoop002

hadoop003

2）把Hadoop安装配置分发到其他节点

scp -r ~/app hadoop@hadoop002:~/

scp -r ~/app hadoop@hadoop003:~/

scp ~/.bash_profile hadoop@hadoop002:~/

scp ~/.bash_profile hadoop@hadoop003:~/

在hadoop002和hadoop003上面对.bash_profile执行生效命令:source ~/.bash_profile

3)对NameNode做格式化：只需要在主节点上执行格式化即可

hdfs   namenode  -format

4)启动集群：只要在hadoop001上面执行即可

sbin/start-all.sh

5)验证

第一种方式：jps

hadoop001：应该有5个服务

SecondaryNameNode

DataNode

NodeManager

NameNode

ResourceManager

hadoop002：应该有2个服务

NodeManager

DataNode

hadoop003：应该有2个服务

NodeManager

DataNode

第二种方式：

webui

http://hadoop001:50070  

http://hadoop002:50070 

http://hadoop003:50070 

6)停止集群

sbin/stop-all.sh

---

集群使用

HDFS

YARN

将Hadoop实战项目运行在Hadoop集群上

把待处理的数据和开发的jar包存上传到hadoop001主节点机器上运行即可。

运行命令：

hadoop jar /usr/hadoop/hadoop-2.6.0-cdh5.7.0/lib/bigdata-1.1.1.jar com.sc.mapreduce.WordCountApp hdfs://hadoop001:8020/xxx/test.txt hdfs://hadoop001:8020/xxx/output/wc

---