hadoop安装中遇到的问题

作者: cane004 | 来源:发表于2017-07-17 16:47 被阅读19次
    1. namenode datanode上五大服务都启动了,但datanode无法访问namenode的9000端口,log上显示namenode在127.0.0.1:9000 listen
      解决办法:参考帖子
    2. 反复格式化namenode后datanode无法启动
      dataNode 无法启动是配置过程中最常见的问题,主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。
    3. nodemanager无法启动
      yarn-site.xml可用物理内存(yarn.nodemanager.resource.memory-mb)配置
    4. container is running beyond physical memory limits, or beyond virtual memory limits
      修改yarn-site.xml 增加以下属性
    <property>
           <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
     </property>
     <property>
         <name>yarn.nodemanager.vmem-pmem-ratio</name>
         <value>4</value>
         <description>Ratio between virtual memory to physical memory when setting 
             memory limits for containers</description>
       </property> 
       <property>
           <name>yarn.nodemanager.resource.memory-mb</name>
           <value>1024</value> 
       </property> 
       <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>128</value>
       </property>
    

    参考帖子

    1. 其他
      其他人的问题集锦

    相关文章

      网友评论

        本文标题:hadoop安装中遇到的问题

        本文链接:https://www.haomeiwen.com/subject/nyntkxtx.html