美文网首页
hdfs多副本删除策略

hdfs多副本删除策略

作者: sunTengSt | 来源:发表于2020-06-09 18:48 被阅读0次

代码:

chooseExcessReplicates

// split nodes into two sets
// moreThanOne contains nodes on rack with more than one replica
// exactlyOne contains the remaining nodes
splitNodesWithRack(candidates, rackMap, moreThanOne, exactlyOne);

// pick one node to delete that favors the delete hint
// otherwise pick one with least space from priSet if it is not empty
// otherwise one node with least space from remains
  • 1.删除节点副本多余一个的
  • 2.删除心跳最久的
  • 3.删除空间最小的
//oldestHeartbeat
if(lastHeartbeat < oldestHeartbeat) {
  oldestHeartbeat = lastHeartbeat;
  oldestHeartbeatStorage = storage;
}
//HDFS可用空间
if (minSpace > free) {
  minSpace = free;
  minSpaceStorage = storage;
}

oldestHeartbeat

long oldestHeartbeat =
  now() - heartbeatInterval * tolerateHeartbeatMultiplier;
  
this.tolerateHeartbeatMultiplier = conf.getInt(
DFSConfigKeys.DFS_NAMENODE_TOLERATE_HEARTBEAT_MULTIPLIER_KEY,4);
this.heartbeatInterval = conf.getLong(
    DFSConfigKeys.DFS_HEARTBEAT_INTERVAL_KEY,3) * 1000;
public static long now() {
  return System.currentTimeMillis();
}

相关文章

  • hdfs多副本删除策略

    代码: chooseExcessReplicates 1.删除节点副本多余一个的 2.删除心跳最久的 3.删除空间...

  • HDFS中的Erasure Coding纠删码是个什么样的存在?

    一、什么是纠错码 提起纠错码就有必要提起HDFS中多副本策略。在多副本策略下,HDFS中储存文件,要存储三份相同文...

  • 04.HDFS拓展

    HDFS拓展 一、副本摆放策略 不同的版本副本拜访策略不同,主要是针对rack(机架)而选择的策略,机架之间通信的...

  • 大数据系列文章-Hadoop的HDFS读写流程(二)

    在介绍HDFS读写流程时,先介绍下Block副本放置策略。 Block副本放置策略 第一个副本:放置在上传文件的D...

  • Hadoop机架感知(rack-aware)配置

    副本的存放策略又是HDFS实现高可靠性和搞性能的关键,优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系...

  • Hadoop HDFS操作指南

    1 HDFS 组成架构 NameNode(NN)管理HDFS的名称空间配置副本策略管理数据块(Block)映射信息...

  • 原创-HDFS副本存储策略源码分析一

    HDFS默认副本存储策略 可通过参数:dfs.block.replicator.classname 配置实现类,默...

  • HDFS详解-02

    HDFS详解-02 1.机架 rack 问题: 2.副本放置策略 3.文件读流程 --> FSDataInputS...

  • 断电导致HDFS 块损坏修复

    一、现象 断电 导致HDFS服务不正常或者显示块损坏 二、直接DN节点上删除文件一个block的三个副本(3副本)...

  • HDFS 丢块问题处理

    概述 HDFS 默认以三副本存储文件 block,且三副本的选择遵循一定的策略,指导思想是尽量降低 block 丢...

网友评论

      本文标题:hdfs多副本删除策略

      本文链接:https://www.haomeiwen.com/subject/vyyetktx.html