美文网首页我爱编程
hadoop-初识四(删除备份)

hadoop-初识四(删除备份)

作者: 刘子栋 | 来源:发表于2018-05-23 14:24 被阅读0次

1、说明

Linux系统不像Windows系统有垃圾回收的功能,文件删除后(如果丢到垃圾箱)还能还原,算是比较不太人性化的设计。但是hadoop有类似功能,可以定义保存删除的文件,用来做数据恢复。

2、配置说明

以下是官网的配置说明,默认不开启,即两个值为零。参数的单位是分钟,通常为1440(一天)的整数倍。fs.trash.interval是在指在这个回收周期之内,文件实际上是被移动到trash的这个目录下面,而不是马上把数据删除掉。等到回收周期真正到了以后,hdfs才会将数据真正删除。fs.trash.checkpoint.interval则是指垃圾回收的检查间隔,应该是小于或者等于fs.trash.interva。

3、修改配置

$cd  /opt/software/hadoop-2.8.1/etc/hadoop

$vi  core-site.xml

4、测试

本来想测试不配置trash和配置trash的删除区别,结果在没提前测试不配置trash的删除测试,先行添加了trash的配置并保存了,再去测试的时候就发现配置已经生效了。原本我以为hadoop的配置修改都需要重启生效,去网上查了资料以下回答比较靠谱:

测试用例参考另外一位同学:hadoop删除操作的垃圾回收

相关文章

  • hadoop-初识四(删除备份)

    1、说明 Linux系统不像Windows系统有垃圾回收的功能,文件删除后(如果丢到垃圾箱)还能还原,算是比较不太...

  • Oracle数据库删除备份

    常规删除,删除过期备份: 直接删除所有归档日志文件,不管是不是已经备份数据库 自己删除备份,不管是不是超期 上面命...

  • hadoop-初识六(YARN)

    参考博客(理解Hadoop YARN架构 - CSDN博客) 1、YARN介绍 YARN(Yet Another...

  • Oracle的闪回查询

    一、简介二、闪回查询三、使用闪回查询并进行数据备份四、再次备份五、将故障数据进行备份六、再次备份故障数据七、删除故...

  • Ubuntu20.04换清华源

    备份 删除 写入源 更新

  • hadoop-初识三(pid浅析)

    1、pid说明 pid就是进程号,hadoop组件启动之后会把各自进程的进程号信息写到文件中存储,hadoop执行...

  • 恢复idea默认布局

    删除 路径下面的option文件夹删除前备份

  • Hadoop-入门篇环境搭建(一)

    转载请注明原文出处 linux安装+网络配置 阿牛的资料下载Hadoop-入门篇环境搭建(一)Hadoop-入门篇...

  • Hadoop-入门篇环境搭建(四)

    转载请注明原文出处 hadoop搭建 阿牛的资料下载Hadoop-入门篇环境搭建(一)Hadoop-入门篇环境搭建...

  • 数据库

    开启事务:备份。BEGIN TRANSACTION提交事务:删除备份。COMMIT TRANSACTION回滚:用...

网友评论

    本文标题:hadoop-初识四(删除备份)

    本文链接:https://www.haomeiwen.com/subject/wwjrjftx.html