Hadoop常见问题整理

作者: 司小幽 | 来源:发表于2016-08-18 14:37 被阅读512次

    1、Namenode问题

    cannot delete name node is in safe mode

    Hadoop namenode无法启动

    2.环境变量问题

    bash:haoop:command not found

    3.权限问题

    ①YARN执行作业遇到Unauthorized request to start container问题:

    datanode与namenode之间未设置时间同步,所以引起该异常。

    解决方案:多个datanode与namenode进行时间同步。

    ②HDFS客户端的权限错误:Permission denied

    1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME,这个值具体等于多少看自己的情况,以后会运行HADOOP上的Linux的用户名。(修改完重启eclipse,不然可能不生效)

    2、将当前系统的帐号修改为hadoop

    3、使用HDFS的命令行接口修改相应目录的权限,hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径,不同的情况可能不一样,比如要上传的文件路径为hdfs://namenode/user/xxx.doc,则这样的修改可以,如果要上传的文件路径为hdfs://namenode/java/xxx.doc,则要修改的为hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /,java的那个需要先在HDFS里面建立Java目录,后面的这个是为根目录调整权限。

    推荐第一种

    4、拒绝连接问题

    ERROR:格式化hdfs时出现connection-refused

    5、HDFS问题

    hdfs问题

    6、系列问题

    hadoop2.0 遇到的问题 (持续更新)

    7、Datanode无法启动问题

    hadoop 完全分布式 下 datanode无法启动解决办法

    8、参考文献

    YARN执行作业遇到Unauthorized request to start container问题

    HDFS客户端的权限错误:Permission denied

    相关文章

      网友评论

        本文标题:Hadoop常见问题整理

        本文链接:https://www.haomeiwen.com/subject/vouvsttx.html