美文网首页我爱编程
hadoop-初识四(删除备份)

hadoop-初识四(删除备份)

作者: 刘子栋 | 来源:发表于2018-05-23 14:24 被阅读0次

    1、说明

    Linux系统不像Windows系统有垃圾回收的功能,文件删除后(如果丢到垃圾箱)还能还原,算是比较不太人性化的设计。但是hadoop有类似功能,可以定义保存删除的文件,用来做数据恢复。

    2、配置说明

    以下是官网的配置说明,默认不开启,即两个值为零。参数的单位是分钟,通常为1440(一天)的整数倍。fs.trash.interval是在指在这个回收周期之内,文件实际上是被移动到trash的这个目录下面,而不是马上把数据删除掉。等到回收周期真正到了以后,hdfs才会将数据真正删除。fs.trash.checkpoint.interval则是指垃圾回收的检查间隔,应该是小于或者等于fs.trash.interva。

    3、修改配置

    $cd  /opt/software/hadoop-2.8.1/etc/hadoop

    $vi  core-site.xml

    4、测试

    本来想测试不配置trash和配置trash的删除区别,结果在没提前测试不配置trash的删除测试,先行添加了trash的配置并保存了,再去测试的时候就发现配置已经生效了。原本我以为hadoop的配置修改都需要重启生效,去网上查了资料以下回答比较靠谱:

    测试用例参考另外一位同学:hadoop删除操作的垃圾回收

    相关文章

      网友评论

        本文标题:hadoop-初识四(删除备份)

        本文链接:https://www.haomeiwen.com/subject/wwjrjftx.html