使用虚拟机搭建Hadoop集群

环境准备：virtualbox，xshell，xftp，centos7，hadoop2.7.3，jdk1.8。

第一部分环境准备：

1.安装virtualbox,安装centos，xshell，xftp。

2.配置虚拟机的IP，配置主机的IP：IPADDR=NETMASK=，网关NETWORKING=GATEWAY。

3.重命名主机 hostnamectl set-hostname master 。

4.关闭防火墙 systemctl stop firewalld systemctl disable firewalld；重启网络服务systemctl restart network。

5.保证主机和虚拟机可以相互ping通。

第二部分jdk和hadoop安装：

1.安装jdk。

2.安装hadoop。

第三部分hadoop相关配置：

hadoop集群分为三部分：hdfs（Hadoop Distributed File System），yarn（Yet Another Resource Negotiator），mapreduce。

其中hdfs和yarn是真实运行的组件，MapReduce是hadoop提供的计算框架。

1.配置/etc/profile，加载hadoop命令到环境变量。

2.修改hadoop-env.sh中的JAVE_HOME为本机的java安装路径。

3.在core-site.xml中添加配置项fs.defaultFS hdfs://主机名称:9000 hadoop.tmp.dir 自定义路径

4.修改hdfs-site.xml中的dfs.premissions.enable false dfs.replication 2

5.修改mapred-site.xml mapreduce.framework.name yarn 

6.修改yarn-site.xml yarn.resourcemanager.hostname yarn.nodemanager.aux-service mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

注意：core-site.xml和yarn-site.xml的配置在修改时需要修改每个节点的配置。

第四部分将安装jdk和hadoop的主机复制三份

1.复制并重命名为slave1，slave2，slave3。

2.修改IP和主机名，重启网络，并确保相互间可以ping通。

第五部分集群的启动与关闭：

1.分开启动：hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode