1、安装VMware12，过程略

安装完成后, 系统会多出两张网卡VMnet1和VMnet8, 将该VMnet8的IP地址设置为192.168.111.1, 后面步骤安装的虚拟机均要为同一网段, 否则无法正常访问网络

VMnet8网卡地址设置

2、安装CentOS6.8，过程略

3、服务器配置

3.1 配置网络（如果是复制的slave，需要删除HWADDR和UUID两个属性，安装的mater主机可不必删除）

vi /etc/sysconfig/network-scripts/ifcfg-eth0

master配置截图 slave配置截图

3.2 修改主机名称

vi /etc/sysconfig/network

3.3 删除网卡配置文件（重启后会再动态生成）

rm -rf /etc/udev/rules.d/70-persistent-net.rules

3.4 配置主机名地址映射

vi /etc/hosts

3.5 配置DNS解析

echo "nameserver 114.114.114.114" >> /etc/resolv.conf
echo "nameserver 8.8.8.8" >> /etc/resolv.conf

3.6 关闭防火墙

service iptables stop
chkconfig iptables off

3.7 重启master，使以上配置生效，并测试网络

3.8 master免密码登录slave

cd ~/.ssh
ssh-keygen -t rsa(全部回车)
cat id_rsa.pub >> authorized_keys

ssh-copy-id cm02
ssh-copy-id cm03
ssh-copy-id cm04

3.9 增加hadoop用户

useradd -m hadoop -s /bin/bash
password hadoop
visudo

增加一行
hadoop ALL=(ALL) ALL

3.9 按master主机克隆另外3台slave从机（可在master主机安装并配置完成hadoop后再执行，以免需要重复安装JDK和hadoop）

4 安装JDK

rpm -ivh jdk-8u131-linux-x64.rpm

5 安装hadoop

5.1 解压安装包并重命名文件夹

tar -zvxf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 hadoop

5.2 设置主机环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$IAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:/usr/local/softs/hadoop/bin:/usr/local/softs/hadoop/sbin

生效环境变量

source /etc/profile

5.3 配置hadoop环境（hadoop-env.sh,mapred-env.sh, yarn-env.sh）

vi /usr/local/softs/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/default

5.4 配置NameNode

vi/usr/local/softs/hadoop/etc/hadoop/core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cm01:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/var/hadoop/tmp</value>
</property>

5.5 配置SecondNameNode

vi /usr/local/softs/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>cm02:50090</value>
    </property>
</configuration>

5.6 配置集群(完全分布式)

vi /usr/local/softs/hadoop/etc/hadoop/slaves

cm02
cm03
cm04

5.7 格式化NameNode

hadoop namenode -format

5.7 启动hadoop集群

/usr/local/softs/hadoop/sbin/start-dfs.sh

网页验证
http://192.168.111.111:50070

NameNode DataNode 集群部署结构图

5.8 上传文件

hadoop fs -put /usr/local/ALL.rar /

分成6个block

6 总结

环境搭建过程中遇到过不少问题，特别是slave从机的网络配置, 经历了无法获取IP, 不能访问外网等, 但都逐一解决了,总结如下:

6.1 slave网络设置

1. 文件ifcfg-eth0

删除HWADDR和UUID两个属性, 因为克隆主机自动生成的地址和系统地址不一致, eth0网卡不会生效
BOOTPROTO=static, 不要用dhcp, 否则每次启动都是动态IP

2. 文件70-persistent-net.rules

每次克隆后, 都删除该文件再重启, 系统会自动加载硬件地址, 并重新动态生成该文件

6.2 hadoop配置

1. start-dfs.sh无法启动datanode

因slave的core-site.xml未配置NameNode, 将master的core-site.xml复制到slave, 并删除master的tmp目录, 重新格式化NameNode