1.进入Hadoop软件包，命令如下：
先切回到root用户
[kkb@master ~]$ su - root
进入到hadoop目录下（压缩包可以使用鼠标将压缩包拖入虚拟机中）
[root@master ~]$ cd /software/hadoop/
解压Hadoop安装包命令如下：
[root@master hadoop]$ tar -zxvf hadoop-2.7.3.tar.gz
image.png
2.配置环境变量hadoop-env.sh
环境变量文件中，只需要配置JDK的路径
[root@master hadoop-2.7.3]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
在文件的靠前的部分找到下面的一行代码：
export JAVA_HOME=${JAVA_HOME}
将这行代码修改为下面的代码：
export JAVA_HOME=/usr/java/jdk1.8.0_181/
然后保存文件
image.png
如果你不知道自己的Java版本可以通过下面的方法得到
image.png
配置环境变量yarn-env.sh
环境变量文件中，只需要配置JDK的路径。
[root@master hadoop-2.7.3]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/yarn-env.sh
在文件的靠前的部分找到下面的一行代码：
export JAVA_HOME=/home/y/libexec/jdk1.6.0/
将这行代码修改为下面的代码（将#号去掉）：
export JAVA_HOME=/usr/java/jdk1.8.0_181/
然后保存文件
image.png
3.配置核心组件core-site.xml
使用vi编辑：
[root@master hadoop-2.7.3]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
用下面的代码替换core-site.xml中的内容：(注意路径一致）
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/software/hadoop/hadoopdata</value>
</property>
</configuration>
image.png
4.配置文件系统hdfs-site.xml
使用vi编辑：
[root@master hadoop-2.7.3]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
用下面的代码替换hdfs-site.xml中的内容：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
image.png
5.配置文件系统yarn-site.xml
使用vi编辑：
[root@master hadoop-2.7.3]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
用下面的代码替换yarn-site.xml中的内容：
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property> <name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property> <name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property> <name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>
image.png
6.配置计算框架mapred-site.xml
复制mapred-site-template.xml文件：
[root@master hadoop-2.7.3]$ cp /software/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template
/software/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
使用vi编辑：
[root@master ~]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
用下面的代码替换mapred-site.xml中的内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
cp /software/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /software/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
7.在master节点配置slaves文件
使用vi编辑：
[root@master hadoop-2.7.3]$ vi /software/hadoop/hadoop-2.7.3/etc/hadoop/slaves
用下面的代码替换slaves中的内容：
slave01
slave02
image.png
8.更改权限(三个节点都操作)
给hadoop目录授权
[root@master hadoop-2.7.3]$ chown kkb.kkb /software/hadoop/ -R # -R是递归的意思
image.png
给我们每台虚拟就都创建一个相同路径的hadoop文件夹，方便管理
image.png
9.复制到从节点
使用下面的命令将已经配置完成的Hadoop复制到从节点HadoopSlave上：
[root@master hadoop-2.7.3]$ su - kkb
[root@master ~]$ scp -r /software/hadoop/hadoop-2.7.3 root@slave01:/software/hadoop
[root@master ~]$ scp -r /software/hadoop/hadoop-2.7.3 root@slave02:/software/hadoop
注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。
在我们的slave01,slave02中查看hadoop,并都做一次授权
salve01
salve02
六. 启动Hadoop集群
1.下面所有的操作都使用kkb用户，切换kkb用户的命令是：
su - kkb(如果已在普通用户下则不用再执行)
2.配置Hadoop启动的系统环境变量
该节的配置需要同时在两个节点（HadoopMaster和HadoopSlave）上进行操作，操作命令如下：
只需要在kkb用户下执行环境变量配置操作即可
[kkb@master ~]$ vi .bash_profile
复制粘贴以下内容添加到到上面vi打开的文件中：
JAVA_HOME=/usr/java/jdk1.8.0_181/
HADOOP_HOME=/software/hadoop/hadoop-2.7.3
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH
image.png
使改动生效命令：
[kkb@master ~]$ source ~/.bash_profile
3.创建数据目录
该节的配置需要同时在两个节点（HadoopMaster和HadoopSlave）上进行操作。
在kkb的用户主目录下，创建数据目录，命令如下：
[kkb@master ~]$ mkdir /software/hadoop/hadoopdata
4.启动Hadoop集群
4.1格式化文件系统
格式化命令如下，该操作需要在HadoopMaster节点上执行：(需要等待一些时间，没有报错进入下一步）
[kkb@master ~]$ hdfs namenode -format
4.2启动Hadoop
使用start-all.sh启动Hadoop集群，首先进入Hadoop安装主目录，然后执行启动命令：
[kkb@master ~]$ cd ~/hadoop-2.7.3
[kkb@master ~]$ start-all.sh
执行命令后，提示输入yes/no时，输入yes。
注意
可能存在启动不了，启动hadoop时报错，nodemanager running as process 6410. Stop it first.之类的
解决方法：
进程已经在运行中了，先执行stop-all.sh下，然后再执行start-all.sh，楼主通过此方法，问题解决
4.3查看进程是否启动
在HadoopMaster的终端执行jps命令，在打印结果中会看到4个进程，分别是ResourceManager
Jps
NameNode
SecondaryNameNode
如下图所示。如果出现了这4个进程表示主节点进程启动成功。
image.png
在HadoopSlave的终端执行jps命令，在打印结果中会看到3个进程，分别是NodeManager
DataNode
Jps
网友评论