搭建Hadoop伪分布式环境

前提：默认关闭防火墙、禁用SELinux、网络正常、配置计算机名称

node01
NameNode
SecondaryNameNode
DataNode

1. 安装Hadoop和JDK

tar -zxvf hadoop-3.1.1.tar.gz -C /opt/hadoop/
rpm -ivh jdk-8u172-linux-x64.rpm

2. 配置环境变量

vim /etc/profile
添加：

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.1
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效：
. /etc/profile

3. 配置免密钥登录

ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub node01

4. 配置Hadoop

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/hadoop-env.sh
添加：

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml
添加：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/data/tmp/pseudo</value>
  </property>
</configuration>

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml
添加：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node01:9868</value>
  </property>
</configuration>

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/workers
添加：

node01

5. 格式化Hadoop

hdfs namenode -format
格式化是对Hadoop中的DataNode进行分块，并统计分块后所有初始元数据在NameNode中存储的位置，只需要在第一次启动Hadoop前执行。
格式化后，查看/opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml里hadoop.tmp.dir指定的目录下（/opt/hadoop/data/tmp/pseudo）是否有dfs目录，如果有则说明格式化成功。

6. 启动Hadoop

start-dfs.sh

7. 查看进程

jps

8. 访问网页

NameNode：http://192.168.163.191:9870
DataNode：http://192.168.163.191:9864