为了能够在生产环境中搭建Hadoop集群，先决定在虚拟机中搭建一个测试环境，跑通整个流程。
一：安装环境
Centos版本：CentOS Linux release 7.3.1611 (Core)
jdk：java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64
hadoop版本：hadoop2.7.3
测试环境在Virtual box中进行
二：虚拟机配置
Master1:192.168.31.111
Master2:192.168.31.138
Slave1:192.168.31.137
Slave2:192.168.31.162
slave3:192.168.31.102
为了安置配置的方便，关防所有机子的防火墙,正式的生产环境需要开启防火墙，但是最好设置成内网可以访问，对外只开放必要的端口。
三：配置主机名
每台机子配上主机名（master1,master2,slave1,slave2,slave3）
／／这种方式只能临时生效，机器重启后失效
sudo vim /etc/sysconfig/network
HOSTNAME=master1
sudo hostname master1
／／永久生效需在／etc/hostname中进行配置
sudo vim /etc/hostname
四：配置hosts文件
需要在每台机器上增加其它机器的ip列表
vim /etc/hosts
五：建立hadoop运行帐号
后续的行为都在hadoop用户下操作
adduser hadoop
chown hadoop /home/hadoop
passwd hadoop
给hadoop加权限
chmod -v u+w /etc/sudoers
vim /etc/sudoers
hadoop ALL = (ALL)ALL
chmod -v u-w /etc/sudoers
六： 配置ssh免密钥
master:
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
然后复制到其他的slave节点中
scp ~/.ssh/authorized_keys hadoop@slave1:~/
scp ~/.ssh/authorized_keys hadoop@slave2:~/
scp ~/.ssh/authorized_keys hadoop@slave3:~/
在各个slave节点上分别执行：
在终端生成密钥,命令如下(一路点击回车生成密钥)
ssh-keygen -t rsa
将 authorized_keys 文件移动到.ssh 目录
mv authorized_keys ~/.ssh/
修改 authorized_keys 文件的权限,命令如下
cd ~/.ssh
chmod 600 authorized_keys
需保证两台master之间能够互相登陆，各个master能够登陆各个slave
然后在master上测试能否免密码登录各个slave
tips:
DN之间是否需要配置ssh免密钥：
datanode之间是要通信的，但不用ssh登录，只是通过socket进行通信。
七：Hadoop 配置部署
以下先在master1机子上配置后，同步到slave机子，master2的机子后续配置双活才使用，现在不用管
1、下载并解压hadoop
wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
tar -xvzf hadoop-2.7.3.tar.gz
2、配置JAVA_HOME
采用系统自带的OpenJDK
vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
#export JAVA_HOME=${JAVA_HOME}
改为
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64/jre
3、配置 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master1:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
</configuration>
4、 配置文件系统 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master1:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
</configuration>
5、配置yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master1:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master1:8088</value>
</property>
6、配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master1:19888</value>
</property>
6、修改slaves文件
加入slave的列表
slave1
slave2
slave3
7、复制到从节点
将配置好的文件复制到slave中
scp -r hadoop-2.7.3 hadoop@slave1:~/
scp -r hadoop-2.7.3 hadoop@slave2:~/
scp -r hadoop-2.7.3 hadoop@slave3:~/
八：启动 Hadoop 集群
1、配置 Hadoop 启动的系统环境变量（可不做）
vim ~/.bash_profile
在末尾追加
#HADOOP
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使配置生效
source ~/.bash_profile
2、创建数据目录
在每台机子上创建
cd ~
mkdir dfs
mkdir tmp
cd dfs
mkdir name
mkdir data
3、格式化文件系统
在master1机器上进行格式化，其它slave机子不需要
hdfs namenode -format
没有出现 Exception/Error，则表示格式化成功，不要重复的格式化，会出现问题
4、启动
sbin/start-dfs.sh
sbin/start-yarn.sh
或者执行
start-all.sh
九、验证
1、web页面查看
2、运行 PI 实例检查集群是否成功
hadoop jar ~/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 10
出现以下问题（主机名没有配置对）
检查方法：
1、检查网络，防火墙是否有问题，需关闭所有的防火墙
2、查看配置ssh免密钥登录是否有问题
运行出错，子节点暂没互通，但是没有影响最终结果
[image:1640C461-AC15-421D-9284-9A9451AF6910-375-00004392F9C0D359/24D6C078-4254-4B4B-BCCB-7B7B3D8013DA.png]
安装过程中出现的问题
1、宿主机卡死
出现场景：
1、对虚拟机进行格式化的时候，window机器挂了
2、跑mapreduce时，window机器挂了
原因：
虚拟机的设置不对，CPU，磁盘设置过大
解决方法
设置成内存1G，硬盘固定8G
2、只启动了一个实例
原因：
一般情况下，出现这个问题的原因是namenode和datanode的clusterID不一致。namenode每次格式化时，会更新clusterID，但是datanode只会在首次格式化时确定，因此就造成不一致现象。期间尝试过重新格式化磁盘，但中途终止，导致出现此问题
解决方法（两种）
1、修改datanode里VERSION文件的clusterID与namenode的clusterID一致，重新执行start-dfs.sh
2、删除生成的节点hdfs的信息，然后重新格式化
更多详细内容请查看个人博客地址http://xuxping.com/
网友评论