初识HBase

如果HBase集群之间的时间差超过30s，则会导致regionServer无法启动

删除表必须先diable表

删除namespace必须先清空ns内的表

修改数据会增加一行，并带时间搓，查询的时候，取最大时间戳那条

删除会增加一行，并带时间戳，并标记为删除

如果修改或者删除时候带的时间错比最大的小，会导致修改无效

表可以指定版本，查询的时候带版本可以获取一个列的多个版本的数据，表示表可以为每条记录保留的版本数

内存达到一定阈值则开始刷写，但是不阻塞，达到阈值的上线，则阻塞客户端写操作，并直到刷写完毕，

触发刷写的条件

https://pan.baidu.com/s/1IcipwNjDDJqYWXvjatKumw#list/path=%2F

27gx

定义

HBase是一个分布式，可扩展，支持海量数据存储的NoSql数据库

数据模型

逻辑上，它跟关系型数据库类似，数据存放在一张表中，有行有列。但实际在底层物理存储结果，是以K-V来存的

逻辑结构

hbase-struct

• 一张表由列族/列/rowkey组成
• 不同的列族存放在不同的hdfs文件中
• 根据配置的大小，表会按照rowkey水平切分为不同的region存放在不同的hdfs文件中
• 列和value是表的数据，初始建表不需要指定列名

物理结构

hbase-store

• 数据会存放到hdfs上
• 每一行的每个列是在hdsf中式一行或者多行数据（历史数据）
• 每一行中的每一列都有一个时间戳，在获取此cell数据时，会取时间戳最大的那个value
• 如果cell被删除，那么也会往hdfs上新增一条数据，并标记为删除
• 如果同一个cell含有多个行，会在major merge时把多行合并成一行

术语

Name Space

命名空间，类似于数据库名，hbase自带两个命名空间，hbase和default，hbase存放内置的表，default为用户默认使用的命名空间

Region

可以理解为以水平切割的一个分表，是按rowkey切分的一个表，初始时只有一个region，当大小达到阈值，会切分成多个region，用于加快检索速度

Row

表中每行都有一个rowkey，一个row有多个col，hdfs以rowkey的字典序存储，查询数据是必须用rowkey来定位数据。

Column Famliy

列族可以理解为以垂直切分的一个分表，需要在建表时指定，官方推荐使用每个表只使用一个列族，这样可以减少小文件的出现，例如每个列族的大小相差很大的时候，会出现有些列族的文件大，而某些列族的文件非常小

Column

列可以动态变化，每行可以拥有不同的col，不需要指定，它属于表中的数据

Time Stamp

代表每行数据的插入时间，hbase使用它来做版本控制，但同一个col有多行数据时，取时间戳最大的那一行，时间戳可以在客户端发put命令时指定，如果此时客户端指定的时间戳小于hbase的那行数据的时间，则会导致更新无效

Cell

是一行里面对应col的数据，没有类型，以字节方式存储，获取和写入时，需要序列和反序列化

架构图

hbase-overview

client

client通过hbase的接口访问Hbase，client会缓存集群的元素据来加速访问，元数据的信息有regionserver在集群对应表和ip的信息

Zookeeper

• HMaster通过ZK来选举产生，提供HMaster的高可用
• 监控RegionServer的状态，当RS出现异常，通知HMaster以方便HMaster进行RS的重新分配调度
• 提供元数据的统一入口，元数据也是存放在HDFS上的

HMaster

• 为RS分配Region
• 负责整个集群的负载均衡
• 通过操作ZK，维护集群的元数据
• 当Region失效，则将失效的Region分配到正常的RS上
• 当RS失效，则协调对应的HLog进行拆分
• 进行DDL的操作
• 不负责DML的操作

HRegionServer

• 处理DML
• 管理多个Region
• 负责与HDFS的交互
• 负责Region的拆分和StoreFile的合并
• 维护HLog

HDFS

• 存储HLog/WAL
• 存储元数据
• 存储表数据
• 提供分布式存储，多副本，保证高可用

HLog

修改记录时，HBase并不是直接写入HDFS和磁盘，而是先追加到HLog，然后写入内存，在配置时间内再刷写到磁盘，如果这中间机器出现故障，可以通过HLog恢复

Store

Region中的Stroe代表一个列族一个Store

MemStore

内存存储，用于保存最近的数据操作

HFIle

HBase的物理存储文件，并存放在HDFS上

写流程

hbase-write

• client问ZK meta的RS位置
• client连接RS获取meta表并缓存
• client查询根据rowkey，region，colFamily查询meta表获取RS位置
• client向RS写入数据
• RS写入HLog并更新memstore，然后返回
• 在后面一定时间内，RS写入磁盘并同步到HDFS

读流程

hbase-read

• client向ZK请求meta的RS
• client向RS请求meta
• 根据rowkey找到RS
• 向RS请求du
• RS获取内存数据，磁盘数据和HDFS的数据，并做合并，最终把结果返回client

Flush

每次在客户端输入Flush ‘tableName’都会在HDFS生成一个文件，内容为memstore合并后的内容

如果RegionServer memstore的内存使用达到配置内存的上限，则会阻塞写操作，直到刷写完到磁盘，其他情况的刷写，不会阻塞写操作

触发条件

• 整个RegionServer的内存达到regionserver的下限
• 整个RS在一定时间内无写操作
• 某个RS的memstroe大小达到配置的大小
• 当hlog的个数达到上限，一个hlog的大小为128m或配置值

Region合并

由于某些Region删除了大量的数据，导致Region内的HFile过小，那么此时就有必要通过合并Region来减少小文件

冷合并

前提时HMaster和HRegionServer都停掉，否则会报错，不适用于生产环境

hbase org.apache.hadoop.hbase.util.Merge table_name\
table_name,a,147608089478.39erijidsfd8s098fen32j3i8d9. \
table_name,b,148893879502.48jfidnxoskd023843257822j3i.

热合并

不需要停机

 merge_region '39erijidsfd8s098fen32j3i8d9','48jfidnxoskd023843257822j3i'

HFile Compaction

由于每次Flush都会从memstroe产生一个HFile，时间长了，会导致HDFS上出现很多小文件，此时有可能同一个cell会有多个版本出现在不同的HFile中，如果此时查询就需要遍历所有的Hfile才可以找到对应的rowkey，所以为了清理过期和删除的数据，就需要进行对HFile合并

Minor Compaction

会把若干个小文件单纯的合并成一个文件，而不会清理过期和删除的数据

Major Compaction

会把Store下的所有HFile合并成一个大HFile，并清理过期和删除数据

触发条件

• HFIle超过阈值的最小值，一次最多合并配置的最大值，会触发Minor compact
• 当HFIle超过配置的最大数，会阻塞客户端写
• 当Major Compaction的最大周期到达，会做全量合并，建议设置为0，手工触发，在低峰时候执行
• 当HFile文件数超过阈值，会触发Major Compaction

Region Split

当1个Region的某个store下所有的StoreFile的总大小超过min(R^2*memstore.size,maxSize)，会进行split，R为当前table的个数

可以看出这有可能越往后切割的文件会越来越大，直到到达10G。

DDL&DML

进入命令行

Hbase shell

查看有哪些表

list

建表

create 'tableName' 'colFamilyName'

插入/更新数据

put 'tableName','rowkey','colFaimilyName:colName','value'

查看所有记录

scan 'tableName'
scan 'tableName', {startrow=>'rowkey', stoprow=>'rowkey'}

查看表结构

describe 'tableName'

查看某行

get 'tableName','rowKey'
get 'tableName','rowKey','colFamily:col'

表行数

count 'tableName'

删除某rowkey的全部数据

deleteall 'tableName','rowkey'

删除某列

delete 'tableName','rowkey','colFamily:col'

清空表

disable 'tableName'
truncate 'tableName'

删除表

disable 'tableName'
drop 'tableName'

改变表存放的版本数

alter 'tableName',{NAME=>'colFamily',versions=>3}
get 'tableName','rowKey',{column=>'colFamily:col',versions=>3}