美文网首页
hadoop配置遇到的问题

hadoop配置遇到的问题

作者: shandyone | 来源:发表于2017-07-26 14:39 被阅读0次

    配置hadoop的时候遇到几个问题,有的甚至困扰了好久,在这里记录一下
    1.配置java的时候,其中有一步source /etc/source,由于我用的的shell是fish,没有source这一步,因此总是出错,最后发现退出就可以了
    2.在ssh连接的时候,vmware虚拟机中,需要将网络连接模式从NAT改成桥联,这样IP地址也会改变,也就可以从其他linux下连接进来
    3.在用ssh连接的时候,有两个机子一直出现,permession denied,发现,是由于用户名不一致。shandyone的机子连接到shandytwo的机子时,默认的用户是shandyone,改成shandytwo@11.0.2.15就可以了
    4.java的版本必须一致,这样才不会出错
    5.在ssh的过程中,碰见


    6.设置完ssh公钥之后要记得重启,service ssh restart
    7.ubuntu 无法解析主机的解决方法
    在配置的过程中,只修改了hostname而没有修改hosts里面的值,导致经常提示解析不了
    1. 防火墙需要关闭,不然会出现datanode开后又自动关闭 教你如何开启/关闭ubuntu防火墙
      9.碰到创建文件safe mode is on的问题。bin/hadoop dfsadmin -safemode leave(但是这种方法很坑爹,之后hbase可能还会出问题)我的情况是一直不会消失,这么safemode,原因就是数据节点挂在到根目录上了,所以讲hdfs-site.xml里面的namenode和datanode的路径修改了一下,要注意,要自己创建相关目录,否则会出错。
    2. could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

    相关文章

      网友评论

          本文标题:hadoop配置遇到的问题

          本文链接:https://www.haomeiwen.com/subject/tutokxtx.html