美文网首页
could only be replicated to 0 no

could only be replicated to 0 no

作者: 邵红晓 | 来源:发表于2021-07-19 09:51 被阅读0次

    问题详情

    image.png

    解决

    此错误是由 HDFS 的块复制系统引起的,因为它无法在聚焦文件中制作特定块的任何副本。
    本次错误就是原因4造成的
    常见原因:
    1、只有一个 NameNode 实例正在运行,并且它不处于安全模式
    2、没有 DataNode 实例启动并运行,或者一些已经死了。(检查服务器)
    3、Namenode 和 Datanode 实例都在运行,但是它们不能相互通信,这意味着 DataNode 和 NameNode 实例之间存在连接问题。
    4、由于某些基于 hadoop 的网络问题,正在运行的 DataNode 实例无法与服务器通信(检查包含 datanode 信息的日志)
    5、为DataNode实例配置的数据目录中没有指定硬盘空间或DataNode实例空间不足。(检查 dfs.data.dir // 删除旧文件(如果有)
    6、dfs.datanode.du.reserved 中为DataNode 实例指定的预留空间大于空闲空间,这使得DataNode 实例知道没有足够的空闲空间。
    7、DataNode 实例没有足够的线程(检查 datanode 日志和 dfs.datanode.handler.count=10 值)
    8、数据权限传输问题,确保 dfs.data.transfer.protection 不等于“authentication”并且 dfs.encrypt.data.transfer 等于 true。

    还请:
    验证NameNode和DataNode服务的状态并查看相关日志
    验证 core-site.xml 是否具有正确的 fs.defaultFS 值并且 hdfs-site.xml 是否具有有效值。
    验证 hdfs-site.xml 具有 dfs.namenode.http-address.. 对于在 PHD HA 配置情况下指定的所有 NameNode 实例。
    dfs.namenode.http-address.集群名称.nn1 hostname:50070
    dfs.namenode.http-address.集群名称.nn2 hostname:50070
    验证目录的权限是否正确

    参考
    https://stackoverflow.com/questions/36015864/hadoop-be-replicated-to-0-nodes-instead-of-minreplication-1-there-are-1

    相关文章

      网友评论

          本文标题:could only be replicated to 0 no

          本文链接:https://www.haomeiwen.com/subject/oysbpltx.html