hadoop 问题:

作者: 一个疯掉的沙子 | 来源:发表于2018-02-05 16:25 被阅读0次

    一:ssh:Could not resolve hostname *

    问题1

    解决办法:

    ``

    使用vim /etc/profile 添加如下的环境变量

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  

    export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib  

    ``

    二:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    无法加载库文件警告,不影响初步使用.

    三:用windows连接虚拟机上的hadoop下载文件时报错

    问题2

    使用日志发现报错显示

    此为本地windows环境变量配置问题,需要下载Windows binaries for Hadoop versions

    下载地址:https://github.com/steveloughran/winutils

    找到对应的hadoop版本,本人使用的是2.7.5只能下载2.7.1版本的文件

    然后配置环境变量到PATH重新启动电脑,

    环境变量

    四 mapreduce 找不到class问题

    原因是在设置主方法时没有设置下图获取路径方法

    五 hadoop datanode 在三个linux中启动,但是在namenode 中不显示的问题

    首先需要保证在namenode 所在的linux中添加ip地址和名称的对应,直接使用ip地址是不行的

    使用 vim /etc/hosts 将ip和域名一一对应,

    添加新的datanode节点的时候需要将域名添加到namenode所在的hosts中,同时需要确保新的节点的temp中为空.

    相关文章

      网友评论

        本文标题:hadoop 问题:

        本文链接:https://www.haomeiwen.com/subject/mfkizxtx.html