Hadoop部署方式

· 前言

没有任何大数据的基础，想在自己的笔记本上尝试搭建一下Hadoop

· 言归正传

Hadoop的部署方式有三种，分别是：

（1）本地模式

a. 默认情况下，Hadoop即处于该模式，用于开发和调式。

b. 该模式下不对配置文件进行修改。

c. 使用本地文件系统，而不是分布式文件系统。

d. Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。

e. 用于对MapReduce程序的逻辑进行调试，确保程序的正确。

（2）伪分布式模式

a. Hadoop的守护进程运行在本机机器，模拟一个小规模的集群

b. 在一台主机模拟多主机。

c. Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。

d. 在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。类似于完全分布式模式，因此，这种模式常用来开发测试Hadoop程序的执行是否正确。

e. 修改3个配置文件：core-site.xml（Hadoop集群的特性，作用于全部进程及客户端）、hdfs-site.xml（配置HDFS集群的工作属性）、mapred-site.xml（配置MapReduce集群的属性）

d. 格式化文件系统

（3）集群模式

a. Hadoop的守护进程运行在一个集群上

b. Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。

c. 在所有的主机上安装JDK和Hadoop，组成相互连通的网络。

d. 在主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表。

e. 修改3个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml，指定NameNode和JobTraker的位置和端口，设置文件的副本等参数

f. 格式化文件系统