ubuntu下Hadoop安装以及配置

1.java环境配置

1.官网下载安装包：

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

image.png

2.解压该安装包并把它放到对应目录下：

获取root权限

:$ su
password:

根目录下创建java目录

:# mkdir /java

移动安装包到该目录下
解压到当前目录

:# tar -xvf  jdk-8u191-linux.tar.gz

3.配置环境变量

打开environment文件

:# gedit /etc/environment

修改如下：

保存使环境变量生效

:# source /etc/environment

4.查看是否配置成功

:# java -version

出现如下内容，则配置成功

5.设为永久环境变量

打开profile文件

:# gedit /etc/profile

在文件最后增加如下(如果你的文件路径和我不同，记得修改)：

使环境变量生效

:# source /etc/profile

6.重启系统

重启系统

:# reboot

重启完成后查看java环境变量

:# java -version

2.安装ssh

检查是否安装了ssh服务

:# apt-cache policy openssh-client openssh-server

安装ssh服务

:# apt-get install openssh-server

查看ssh服务开启情况

:# ps -e|grep ssh

开启ssh服务

:# sudo /etc/init.d/ssh start

修改配置文件(否则root用户无法访问)

打开ssh的配置文件

:# gedit /etc/ssh/sshd_config

增加语句

:# PermitRootLogin yes

修改如下

重启ssh服务

:# sudo /etc/init.d/ssh restart

若想实现远程访问，在此基础上请参考这篇博客：https://blog.csdn.net/Venry_/article/details/85233991

3.hadoop伪分布式安装配置

1.从官网下载安装包https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

2.解压安装包

和解压jdk一样，新建一个hadoop文件夹，然后将安装包移动过来进行解压

:# mkdir /hadoop
:# mv 下载路径 /hadoop
:# tar -xvf /hadoop/hadoop-2.9.2.tar.gzip

3.配置hadoop环境变量

打开profile文件

:# gedit /etc/profile

修改如下(如果你的文件路径和我不同，记得修改)：

保存profile文件

:# source /etc/profile

4.添加jdk

打开hadoop-env.sh文件

:# gedit /hadoop/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

修改如下：

5.修改core-site.xml

打开

:# gedit hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml

修改内容(如果你的文件路径和我不同，记得修改)：

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/hadoop/hadoop-2.9.2/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改截图

6.修改hdfs-site.xml

打开

:# gedit hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

修改内容(如果你的文件路径和我不同，记得修改)：

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/hadoop/hadoop-2.9.2/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/hadoop/hadoop-2.9.2/tmp/dfs/data</value>
        </property>
</configuration>

修改截图

7.配置完成后，执行namenode的初始化

:# ./hadoop/hadoop-2.9.2/bin/hdfs namenode -format

8.启动namenode和datanode进程

:# ./hadoop/hadoop-2.9.2/sbin/start-dfs.sh

运行截图

特别注意：如果在执行此步骤时，输完密码后，出现ssh拒绝登录的情况,如下：

localhost:permission denied,please try again

你需要再次编辑ssh配置文件，即/etc/ssh/sshd_config，然后找到PermitRootLogin prohibit-password将其注释掉，如下：

#PermitRootLogin prohibit-password

然后重启ssh服务：

:# sudo service ssh restart

现在再次重启namenode和datanode进程服务就不会拒绝登入了！

9.查看信息

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

参考博客：https://blog.csdn.net/Venry_/article/details/85236171