hbase是列式数据库，rowkey是字典序的。每个列族是一个文件，将经常一起查询的列放到同一个列族中，减少文件的寻址时间。

数据模型:

数据模型1 数据模型2

rowkey：是Byte array，是表中每条记录的“主键”，方便快速查找，rowkey的设计很重要

column family：列族，拥有一个名称（string），包含一个或者多个相关列

column：属于一个column family，column name的每条记录可以动态添加

version number：类型为Long，默认值是系统时间戳，可由用户定义

value：Byte array

rows是包括所有，column families是除rowkey之外的

versions（版本）：是指timestamp 版本号控制保存的时间戳的条数。

TTL：(Time To Live ) 生存时间,指定数据包被路由器丢弃之前允许通过的网段数量。

物理模型：

Hbase一张表由一个或者多个region组成，记录按照rowkey字典排序 。region按照大小分割的，每一个表一开始只有一个region，随着数据不断插入，region不断增大，当增大到某个阈值的时候，region会等分分裂成新的Hregion，当table中的行数越来越多，region也会越来越多。

表->Htable

按rowkey范围分的region->Hregion->region servers 

Hregion按列族（column family）->多个Hstore

Hstore->memstore->Hflies（均为有序的kv）

Hfiles->HDFS

组件架构：

client：访问Hbase的接口，并维护cache（元数据信息）加速region server的访问

master：负载均衡，分配region到region server

region server：维护region，负责region的IO请求

zookeeper：保证集群只有一个master；存储所有region的入口（root）地址；实时监控region server的上下线信息，并通知master。

client从zookeeper获得源数据信息（region的地址） 整体架构

Hbase写入数据过程：client（spark、hive等）通过zookeeper让master找到相关Hregion所在的Hregion server，把数据传输到该server，该server会先WAL入Hlog，然后把数据写入memstore，memstore会把接受成功信息反馈给client，然后memstore把数据写入缓存storefiles，storefiles下面有大量Hfile，最后通过HDFSclient写入HDFS。

menstore的大小和HDFS的broker大小一致，默认64M。

Hbase的容错

Hbase的容错借助于zookeeper完成，主要方式是https://www.jianshu.com/p/da6b121deda8。

Hbase会在zookeeper中存储以下信息：

-/hbase/root-region-server，  Root region的位置

-/hbase/table/-ROOT-，根元数据信息

-/hbase/table/hbase：meta，元数据信息

-/hbase/master，当选的master

-/hbase/backup-masters，备选master

-/hbase/rs，region server信息

-/hbase/unassigned，未分配的信息

master容错:zookeeper重新选一个master，无master过程中数据照常读取，但是region切分、负载均衡无法进行；

region server容错：定时向zookeeper汇报心跳，如果一定时间内未出现心跳，master将该regionserver上的region重新分配到其他regionserver上，失效服务器上“预写”日志由主服务器进行分割并派送给新的regionserver

zookeeper容错：一般会配置3-5个实例，比较靠谱

WAL（预写日志）是Hbase的regionserver在处理数据插入和删除过程中来记录操作内容的一种日志，在每次put、delete等一条记录时，会先写入到regionserver对应的Hlog文件的过程。

Hbase的compaction和split

随着写入不断增加，flush次数不断增多，Hfile文件越来越多，所以Hbase需要对这些文件进行合并。compaction会从一个region的一个store中选择一些Hfile文件进行合并。合并的原理很简单，先从这些待合并的数据文件中读出keyvalues，再按照由小到大排列后写入一个新的文件中。这个新文件会取代原先未合并的所有文件并提供服务。

minor compaction是指选取一些小的、相邻的storefile将它们合并为一个更大的storefile，在这个过程不会处理已经deleted和expired的cell，一次minor compaction的结果是更少的并且更大的storefile。

major compaction是指将所有的storefile合并成一个storefile，这个过程会清理三类无意义的数据：被删除的数据、TTL过期数据、版本号超过设定的数据。major compaction持续时间比较长，整个过程会消耗大量的系统资源，对上层业务有比较大的影响，因此线上业务会关闭自动触发major compaction功能，改为手动在业务低峰期触发。

compaction的本质是使用短时间的IO消耗以及带宽消耗换取后续查询的低延迟。compact的速度跟不上Hfile生成的速度，这样会使Hfile的数量越来越多，导致读取性能降低，为避免这种情况，在Hfile的数量过多的时候会限制写请求的速度。

split：当一个region太大时，将其分裂成多个region。

major compaction和split可以手动做