我们先来了解下大数据hadoop的优势：

1、高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。

2、搞扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

3、高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

4、高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。

hadoop的组成

Hadoop HDFS：

一个高可靠、高吞吐量的分布式文件系统。

Hadoop MapReduce：

一个分布式的离线并行计算框架。

Hadoop YARN：

作业调度与集群资源管理的框架。

Hadoop Common：

支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）。

---

ok，了解后我们来搭建hadoop集群模式

1、首先，我们应该要有一个集群规划部署，下面是我本地的集群规划部署：

集群规划部署

看表中，bigdata111,bigdata112,bigdata113是需要我们在虚拟机上搭建的三台机器（注意，要完全配置好IP，JDK以及HADOOP的环境，上一篇文章已经做好），这里可以先搭建一台完整的机器，剩下两台进行克隆就好，但是后面需要更改IP。

bigdata111机器中放Namenode主节点，节点bigdata112是yarn的主节点；

2、接下来进行文件的配置

配置文件在/opt/module/hadoop-2.8.4/etc/hadoop中；

下面是我整理好的配置文件：

（1）配置core-site.xml文件：这里仅配置namenode主节点的机器，我放的是bigdata111

                <!-- 指定HDFS中NameNode的地址 -->

                <property>

                <name>fs.defaultFS</name>

                <value>hdfs://bigdata111:9000</value>

                </property>

                <!-- 指定hadoop运行时产生文件的存储目录 -->

                <property>

                <name>hadoop.tmp.dir</name>

                /opt/module/hadoop-2.8.4/data/tmp

                </property>

（2）配置yarn-site.xml文件；

                <!-- reducer获取数据的方式 -->

                <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

                </property>

                <!-- 指定YARN的ResourceManager的地址 -->

                <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>bigdata112</value>

                </property>

                <!-- 日志聚集功能使能 -->

                <property>

                <name>yarn.log-aggregation-enable</name>

                <value>true</value>

                </property>

                <!-- 日志保留时间设置7天(秒) -->

                <property>

                <name>yarn.log-aggregation.retain-seconds</name>

                <value>604800</value>

                </property>

（3）配置hdfs-site.xml文件；

                <!--数据冗余数-->

                <property>

                <name>dfs.replication</name>

                <value>3</value>

                </property>

                <!--secondary的地址-->

                <property>

                <name>dfs.namenode.secondary.http-address</name>

                <value>bigdata111:50090</value>

                </property>

                <!--关闭权限-->

                <property>

                <name>dfs.permissions</name>

                <value>false</value>

                </property>

（4）配置mapred-site.xml文件；

                <!-- 指定mr运行在yarn上-->

                <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

                </property>

                <!--历史服务器的地址-->

                <property>

                <name>mapreduce.jobhistory.address</name>

                <value>bigdata112:10020</value>

                </property>

                <!--历史服务器页面的地址-->

                <property>

                <name>mapreduce.jobhistory.webapp.address</name>

                <value>bigdata112:19888</value>

                </property>

最后，配置slaves文件，将三个机器的名称写入文件内，在进行配置hadoop-env.sh文件，写入jdk路径，export JAVA_HOME=/opt/module/jdk1.8.0_144（注：是自己安装的路径）

3、将上面四个文件位置完成后，需要将hadoop进行格式化

        为什么要格式化？

                NameNode主要被用来管理整个分布式文件系统的命名空间(实际上就是目录和文件)的元数据信息，同时为了保证数据的可靠性，还加入了操作日志，所以，NameNode会持久化这些数据(保存到本地的文件系统中)。对于第一次使用HDFS，在启动NameNode时，需要先执行-format命令，然后才能正常启动NameNode节点的服务。

格式化命令：hadoop namenode -format

4、启动hdfs、yarn

在bigdata111上启动hdfs，start-dfs.sh，启动之后使用jps命令查看进程；

在bigdata112上启动yarn，start-yarn.sh，启动之后使用jps命令查看进程；

5、登录web端，查看（登录web端要关闭防火墙）

hdfs:192.168.1.121:50070（IP自己搭建虚拟机时设置）

yarn:192.168.1.122:8088

这样，我们就完成了hadoop集群的搭建；

最后，谢谢大家！一起成长！