1-Hadoop环境配置

配置

步骤

• 安装JAVA

  • 下载安装JAVA —— Open-JDK 1.7 64bit

  • 设置环境变量

  • 使用java -version命令验证JAVA安装是否成功

$ sudo vi /etc/profile

#在文件结尾添加以下四个路径
export JAVA_HOME=/usr/lib/jdk/jdk1.7.0_51

export JRE_HOME=/usr/lib/jdk/jdk1.7.0_51/jre

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

#更新文件内容
$ source /etc/profile

操作检验

$ hdfs dfs -ls /

$ hdfs dfs -mkdir  /home
 
$ hdfs dfs -put /usr/hadoop-2.2.0/LICENSE.txt  /home/hadoop/

其他操作

• 关闭Hadoop

$ cd /usr/hadoop-2.2.0/sbin/

$ ./stop-yarn.sh

$ ./stop-dfs.sh

问题及解决方案

• Warning

出现这个警告是由于Hadoop的库文件是在32bit环境下编译的，解决方式是下载对应版本的Hadoop源码，并在本机器上编译即可，该警告不影响Hadoop功能。

• could only be replicated to 0 nodes error

出现这个问题可能是由于DataNode连接问题，尝试以下两个操作：

1 编辑**/etc/hosts**文件并将配置中使用的主机名IP地址写入该文件

2 删除Hadoop的**tmp**文件夹，尝试重启并格式化Namenode

• path is not a file error

这个问题在该URL中提出过，这也是我解决这个问题的思路。是由于把输入文件放在了/tmp路径下，导致中间结果也被当做输入读取，且Hadoop无法读取多层目录的输入，因此出错。