本系列目录：
二、Hadoop集群搭建
本节需要用到的安装包有：
※hadoop-2.8.5.tar.gz
1.将hadoop-2.8.5.tar.gz使用scp命令，从主机Mac的终端传输到a1的/usr/local目录下
2.将hadoop包进行解压缩，命令为：tar -zxvf hadoop-2.8.5.tar.gz
3.将解压后的hadoop-2.8.5，进行重命名为hadoop，命令为：mv hadoop-2.8.5 hadoop
如图2.1.1所示
图2.1.1
4.配置hadoop相关环境变量
vi ~/.bashrc
输入如下内容，如图2.1.2所示：
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:HADOOP_HOME/sbin
图2.1.2
键入命令：source ~/.bashrc
5.修改hadoop配置文件
首先通过命令：cd /usr/local/hadoop/etc/hadoop
进入hadoop目录下
5.1修改core-site.xml，命令：vi core-site.xml
添加如下代码，如图2.1.3所示。
<property>
<name>fs.default.name</name>
<value>hdfs://a1:9000</value>
</property>
图2.1.3
5.2 修改hdfs-site.xml，命令：vi hdfs-site.xml
添加如下代码，如图2.1.4所示
<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
图2.1.4
5.3 在/usr/local目录下，建立目录data，命令为：mkdir /usr/local/data
如图2.1.5所示
图2.1.5
5.4 修改mapred-site.xml，命令为：vi mapred-site.xml.template(注：hadoop文件下没有mapred-site.xml，只有mapred-site.xml.template，修改它效果相同）
添加如下代码，如图2.1.6所示：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
图2.1.6
5.5修改yarn-site.xml，命令为：vi yarn-site.xml
添加如下代码，如图2.1.7所示
<property>
<name>yarn.resourcemanager.hostname</name>
<value>a1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
图2.1.7
5.6修改slaves，命令为：vi slaves
修改为：
a1
a2
a3
如图2.1.8所示
图2.1.8
至此在一台机器上，hadoop安装配置完成，下面开始在第2，3台机器上安装配置hadoop
使用scp命令，命令为：
scp -r /usr/local/hadoop root@a2:/usr/local（注：-r 是迭代传输文件夹）
scp -r /usr/local/hadoop root@a3:/usr/local
scp ~/.bashrc root@a2:~
scp ~/.bashrc root@a3:~
将a1上的hadoop安装包和~/.bashrc文件拷贝到a2,a3上面
并使用命令:source ~/.bashrc，使~/.bashrc生效。
至此，hadoop集群搭建完成，下面开始测试启动hadoop集群
6 格式化namenode，在a1上执行命令：hdfs namenode -format
7.执行命令：start-dfs.sh，启动hdfs集群，
并在a1上查看进程是否启动NameNode、DataNode、SecondaryNameNode，如图2.1.9所示：
图2.1.9
在a2上查看进程是否有DataNode，如图2.1.10所示
图2.1.10
在a3上查看进程是否有DataNode，如图2.1.11所示
图2.1.11
7.1 在Chrome浏览器上，输入：http://a1:50070，出现图2.1.12，即代表ok
图2.1.12
8 启动yarn集群
在a1中键入命令：start-yarn.sh，如图2.1.13所示
图2.1.13
在a1在查看是否有NodeManager、ResourceManager，如图2.1.14所示
图2.1.14
在a2中查看是否有NodeManager，如图2.1.15所示
图2.1.15
在a3中查看是否有NodeManager，如图2.1.16所示
图2.1.16
在Chrome浏览器下，输入：http://a1:8088，结果如图2.1.17所示
图2.1.17
至此Hadoop集群搭建完成~
网友评论