HBase 一致性检查与修复

作者: Caoyun | 来源:发表于2017-10-25 11:36 被阅读466次

HBase 不一致表现为:

region不一致:当一个region被分配到多个regionserver或者没有regionserver持有该region时,则产生region不一致;

表不一致:当某个表的多个region行键有重叠时出现表不一致。

一致性检查:

hbase hbck

# Status:OK,表示没有发现不一致问题。

# Status:INCONSISTENT,表示有不一致问题。

一致性修复:

注意:region不一致可以在线修复,表不一致修复起来比较复杂,需先停止HBase的读写操作。

不正确的分配  这是由于.META.表里保存了region的错误信息。有三种可能:region被分配给了多个regionserver,region被错误的分配给了一

个regionserver但却由另一个regionserver提供服务,region存在于.META.中但没有被分配给任何regionserver。这种不一致通过如下命令修复

hbase hbck -fixAssignments

失踪或多余的region  如果HDFS保存了.META.表里没有记录的region,或者.META.里保存了HDFS中没有的region,则出现不一致,则通过如下命令修复

hbase hbck -fixMeta

修复region不一致的风险比较低,可以通过如下命令打包运行

hbase hbck -repairHoles

region 元数据丢失  每个region持有一个.regioninfo 如果该文件丢失,且.META.表里也没有保存该region的记录,则使用如下命令收集

一个丢失的.regioninfo文件的region

hbase hbck -fixHdfsOrphans

修复表不一致比较复杂,需仔细阅读在线文档,根据实际情况处理,且需要现在测试环境下进行充分的实验。

相关文章

  • HBase 一致性检查与修复

    HBase 不一致表现为: region不一致:当一个region被分配到多个regionserver或者没有re...

  • HBase作为CP系统分析

    从一开始就知道hbase是CAP中的CP系统,即hbase是强一致性的。 我原来一直以为hbase的强一致性是因为...

  • HBase修复

    1表名替换 在shell命令执行 (1) disable ‘tablename’ // 制作快照 (2) sna...

  • Hbase修复

  • Flink状态与容错

    一致性检查点 1.什么是一致性检查点 Flink故障恢复机制的核心,就是应用的一致性检查点。有状态应用的一致性检查...

  • [LNMP]Mysql主从一致性检查与修复

    做过mysql主从维护都知道,一旦出现主从不同步后比较麻烦,而跳过错误的方法可能会导致数据的不一致,这对于需要严格...

  • 数据清洗的内容

    一致性检查一致性检查(consistency check)是根据每个变量的合理取值范围和相互关系,检查数据是否合乎...

  • Hbase学习笔记

    一、简介 Hbase:全名Hadoop DataBase,是一种开源的,可伸缩的,严格一致性(并非最终一致性)的分...

  • 10大HBase常见运维工具整理

    摘要:HBase自带许多运维工具,为用户提供管理、分析、修复和调试功能。本文将列举一些常用HBase工具,开发人员...

  • HBase常见运维工具整理

    HBase自带许多运维工具,为用户提供管理、分析、修复和调试功能,这些工具一部分的入口是hbase shell 客...

网友评论

    本文标题:HBase 一致性检查与修复

    本文链接:https://www.haomeiwen.com/subject/shhqpxtx.html