美文网首页
【精】HDFS如何添加一个动态刷新配置项

【精】HDFS如何添加一个动态刷新配置项

作者: 小北觅 | 来源:发表于2022-02-12 09:36 被阅读0次

    背景:

    目前,对HDFS的某些参数进行修改后,若想让其生效,必须滚动重启Namenode。
    由于NN元数据量比较多,我们公司线上的NN重启一次要花费1h 15min左右,而且随着元数据量的增长以及块数量的增长重启NN花费的时间会越来越久。

    Why
    我们为什么需要把一些参数做成reconfig的?
    因为我们想达到每次修改参数无须重启NN的目标。这样有以下好处:
    1.缩短参数调优周期
    2.提高开发自测效率

    0x00 原生支持reconfig的参数配置demo

    使用
    hdfs dfsadmin -reconfig namenode <替换成你Namenode域名>:8020 properties 命令列出支持reconfig的配置项。

    相关文章

      网友评论

          本文标题:【精】HDFS如何添加一个动态刷新配置项

          本文链接:https://www.haomeiwen.com/subject/kajtlrtx.html