大数据 - Hbase

Hbase介绍

Hbase是一种分布式NoSql数据库，不支持sql作为查询语言。

强读写一致，但是不是最终一致性的数据存储，非常适合高速计算聚合。
自动分片，通过Region分散在集群中，当行数增长的时候Region也会自动切分和再分配。
支持自动故障转移。
底层基于HDFS实现存储层。
支持块缓存，布隆过滤器，可以高效的列查询优化。

Hbase架构

image.png

Zookeeper作为分布式的协调，RegionServer会把自己的信息写入到zookeeper;
Hdfs是hbase运行的底层文件系统；
RegionServer 是数据节点，存储数据的；
RegionServer要实时向Master报告信息，Master实时监控全局RegionServer运行情况，可以控制故障转移和Region的切分。

存储设计

在Hbase中，表被分割成多个更小的块然后分散存储在不同的服务器上，这些小块叫做Regions,
存放Regions的服务器叫RegionServer。Master负责处理不同的RegionServer之间的Region的分发。在Hbase实现中HRegionServer和HRegion类代表RegionServer和Region。HRegionServer除了包含一些HRegions之外，还处理两种类型的文件用于数据存储

HLog，预写日志文件，也叫做WAL(write-ahead log)
HFile 真实的数据存储文件

HLog

MasterProcWAL：HMaster记录管理操作，比如解决冲突的服务器，表创建和其它DDLs等操作到它的WAL文件中，这个WALs存储在MasterProcWALs目录下，它不像RegionServer的WALs，HMaster的WAL也支持弹性操作，就是如果Master服务器挂了，其它的Master接管的时候继续操作这个文件。
WAL记录所有的Hbase数据改变，如果一个RegionServer在MemStore进行FLush的时候挂掉了，WAL可以保证数据的改变被应用到。如果写WAL失败了，那么修改数据的完整操作就是失败的。
1. 通常情况，每个RegionServer只有一个WAL实例。在2.0之前，WAL的实现叫做HLog
2. WAL位于/hbase/WALs/目录下
3. MultiWAL: 如果每个RegionServer只有一个WAL，由于HDFS必须是连续的，导致必须写WAL连续的，然后出现性能问题。MultiWAL可以让RegionServer同时写多个WAL并行的，通过HDFS底层的多管道，最终提升总的吞吐量，但是不会提升单个Region的吞吐量。

WAL的配置

// 启用multiwal
<property>
  <name>hbase.wal.provider</name>
  <value>multiwal</value>
</property>

HFile

HFile是Hbase在HDFS中存储数据的格式，它包含多层的索引，这样在Hbase检索数据的时候就不用完全的加载整个文件。索引的大小(keys的大小，数据量的大小)影响block的大小，在大数据集的情况下，block的大小设置为每个RegionServer 1GB也是常见的。

Hbase 数据模型

Table：Hbase的table由多个行组成
Row：一个行在Hbase中由一个或多个有值的列组成。Row按照字母进行排序，因此行健的设计非常重要。这种设计方式可以让有关系的行非常的近，通常行健的设计是网站的域名反转，比如(org.apache.www, org.apache.mail, org.apache.jira)，这样的话所有的Apache的域名就很接近。
Column：列由列簇加上列的标识组成，一般是“列簇：列标识”，创建表的时候不用指定列标识
Column Family：列簇在物理上包含了许多的列与列的值，每个列簇都有一些存储的属性可配置。例如是否使用缓存，压缩类型，存储版本数等。在表中，每一行都有相同的列簇，尽管有些列簇什么东西也没有存。
Column Qualifier：列簇的限定词，理解为列的唯一标识。但是列标识是可以改变的，因此每一行可能有不同的列标识
Cell：Cell是由row，column family,column qualifier包含时间戳与值组成的，一般表达某个值的版本
Timestamp：时间戳一般写在value的旁边，代表某个值的版本号，默认的时间戳是你写入数据的那一刻，但是你也可以在写入数据的时候指定不同的时间戳

Hbase数据模型设计

Hbase与关系型数据库对比

image.png

行健设计

关键部分，直接关系到后续服务的访问性能。如果行健设计不合理，后续查询服务效率会成倍的递减。

避免单调的递增行健，因为Hbase的行健是有序排列的，这样可能导致一段时间内大部分写入集中在某一个Region上进行操作，负载都在一台节点上。可以设计成： [metric_type][event_timestamp]，不同的metric_type可以将压力分散到不同的region上
行健短到可读即可，因为查询短键不必长键性能好多少，所以设计时要权衡长度。
行健不能改变，唯一可以改变的方式是先删除后插