美文网首页
HDFS的一些高级特性

HDFS的一些高级特性

作者: 陈超Terry的技术屋 | 来源:发表于2019-07-17 16:37 被阅读0次

    一、HDFS的回收站

       1、默认HBase是禁用回收站

       2、开启回收站:

             1)修改配置core-site.xml:   fs.trash.interval=0.  //默认0是时间,代表禁止

                   修改成:  fs.trash.interval=1440 

        3、删除日志的提示

               回收站开启之后,删除数据后,会有下面类似的日志:

               日志:Moved: 'hdfs://172.26.73.102:9000/scott' to trash at: hdfs://172.26.73.102:9000/user/root/.Trash/Current

              /root/.Trash/Current :是回收站的地址

          4、恢复数据

               hdfs dfs -cp /user/root/.Trash/Current/scott/*.csv /datafiles

           5、清空回收站

               hdfs dfs -expunge

    二、配额quota

         分成名称配额、空间配额。

         1、名称配额

          目录下面文件的个数限制。

         //设置 /test1下面只有3个文件。。。实际存放的/目录和文件=配置的个数-1

         hdfs dfsadmin -setQuota 3 /test1

         hdfs dfsadmin -clrQuota /test1

          2、空间配额

                目录下面的空间大小。

                记住:如果HDFS的block的大小为128M,则空间配额制少是128M,否则一个小文件也存不进去。

    三、HDFS的快照

        1、默认目录的快照是禁止的

        2、快照操作

                 如何开启

                 hdfs dfsadmin -allowSnapshot /data。//开启那个目录允许快照

                 创建快照

                      hdfs dfs -createSnapshot /test3 test3_snapshot_01

                     创建的快照,会放在/拷贝到隐藏目录 如/roo/.snapshot下面

                 快照可以进行对比差异

                     对比test3_snapshot_01和test3_snapshot_02的差异

                     hdfs snapshotDiff /test3 test3_snapshot_01 test3_snapshot_02

    四、HDFS的安全模式safemode

          1、HDFS的安全模式 是只读的

          2、在正常运行时,HDFS不能使用安全模式

          3、HDFS在安全模式下:检查数据块的副本率;如果数据块的副本率低于默认的副本率,HDFS就会进行数据块的水平复制

          4、 安全模式的操作指令,如下:

    [root@hadoop-master hbase-0.96.2-hadoop2]# hdfs dfsadmin -safemode

    Usage: java DFSAdmin [-safemode enter | leave | get | wait]

    相关文章

      网友评论

          本文标题:HDFS的一些高级特性

          本文链接:https://www.haomeiwen.com/subject/jwtclctx.html