在 Linux 环境下安装 Hadoop 3.1.1

目录

• 1. 安装环境说明
• 2. 使用 wget 命令下载 Hadoop 安装包
• 3. 解压并移动文件
• 4. 修改 Hadoop 环境配置文件
• 5. Standalone 单机模式的测试
• 6. Pseudo-Distributed 伪分布模式的测试

1）安装环境说明

在本安装报告中使用的是阿里云的云服务器，操作系统为 Ubuntu 16.04 LTS 且安装了 JDK8。本实例中安装的 Hadoop 版本为 3.1.1。

JDK 版本：

$ java -version

java version "1.8.0_192"
Java(TM) SE Runtime Environment (build 1.8.0_192-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.192-b12, mixed mode)

JAVA_HOME 环境变量：

$ echo $JAVA_HOME

/usr/bin/jdk1.8.0_192

2）下载 Hadoop 安装包

1. 切换到 /home/download 目录：

   $ cd /home/download
   

2. 下载 hadoop 3.1.1 的安装包：

   $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
   

3）解压并移动文件

1. 解压安装包

   $ tar zxvf hadoop-3.1.1.tar.gz
   

2. 移动解压后的文件夹到 /usr/bin

   $ mv hadoop-3.1.1 /usr/bin
   

4）修改 Hadoop 环境配置文件

1. 进入 /usr/bin/hadoop-3.1.1：

   $ vi etc/hadoop/hadoop-env.sh
   

2. 修改 hadoop-env.sh，添加以下语句并保存退出：

   export JAVA_HOME=/usr/bin/jdk1.8.0_192

   此时 hadoop 已经安装完毕，下面进行测试。

5）Standalone 单机模式的测试

1. 进入 /usr/bin/hadoop：

   $ cd /usr/bin/hadoop
   

2. 创建测试目录 input：

   $ mkdir input
   

3. 复制 /etc/hadoop/ 目录下的所有 xml 文件到 input：

   $ cp etc/hadoop/*.xml input
   

4. 运行 Hadoop 进行计算，指定输出文件夹为 output：

   $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar \
     grep input output 'dfs[a-z.]+'
   

5. 输出 output 的内容：

   $ cat output/*
   

   输出结果：

   1   dfsadmin