美文网首页日常问题大数据CDH
解决CDH中HDFS隐患9 DataNodes are requ

解决CDH中HDFS隐患9 DataNodes are requ

作者: 小KKKKKKKK | 来源:发表于2021-06-12 08:33 被阅读0次

    安装HDFS后,报了一个隐患

    9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of DataNodes is only 4.

    image.png
    这个隐患说的是:使用RS-6-3-1024k编码纠删码策略至少需要9个DataNodes,当前只安装了4个。
    但是目前DataNodes已经这么多,不会增加。只能通过修改编码纠删码策略解决。
    在网上查了很多资料发现处理起来比较麻烦,索性现在HDFS的配置里找找看看有没有相关的配置
    Cloudera Manager主页,进入HDFS界面
    image.png
    选择配置,进入配置界面,在搜索栏搜索RS-6-3-1024k或搜索dfs.namenode.ec.system.default.policy
    修改为No Default Erasure Coding Policy,我索性就不要这个什么纠删码
    image.png
    修改保存,重启HDFS,这个隐患消除。
    如果一定要用这个纠删码的话,不如把这个隐患屏蔽掉。

    相关文章

      网友评论

        本文标题:解决CDH中HDFS隐患9 DataNodes are requ

        本文链接:https://www.haomeiwen.com/subject/uywueltx.html