HBase简介

1.HBase起源

HBase是一个开源的非关系型分布式数据库，参考了谷歌的BigTable建模，实现的编程语言为Java。运行于HDFS文件系统之上，为Hadoop提供类似于BigTable规模的服务。因此，它可以容错的存储海量稀疏的数据。

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。Habse的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和百万列元素组成的数据表。

1.1关系数据库已经流行很多年，并且Hadoop已经有了HDFS和MapReduce，为什么需要HBase？

• Hadoop可以很好的解决大规模数据的离线批量处理问题，但是，受限于HadoopMapReduce编程框架的高延迟数据处理机制，使得Hadoop无法满足大规模数据实时处理应用的需求。
• HDFS面向批量访问模式，不是随机访问模式。
• 传统的关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题（分库分表也不能很好的解决）
• 传统关系数据库在数据结构变化时一般需要停机维护；空列浪费存储空间。

1.2HBase与传统的关系数据库的区别主要体现在以下几个方面：

1. 数据类型：关系数据库采用关系模型，具有丰富的数据类型和存储方式，HBase则采用了更加简单的数据模型，它把数据存储为未经解释的字符串。
2. 数据操作：关系数据库中包含了丰富的数据操作，其中会涉及复杂的多表连接。HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等，因为HBase在设计上就避免了复杂的表与表之间的关系。

3.HBase数据模型

表：HBase采用表来组织数据，表由行和列组成，列划分为若干列族。
行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。
列族：一个HBase表被分成许多“列族”（Column Family）的集和，它是基本的访问控制单元。
列限定符：列族里的数据通过限定符（或列）来定位。
单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”，单元格中存储的数据没有数据类型，总被视为字节数组byte[]
时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。

4.HBase的实现原理

HBase的实现包括三个主要的功能组件：

• 1、库函数：链接到每个客户端
• 2、一个Master主服务器
• 3、许多个Region服务器

主服务器Master负责管理和维护HBase表的分区信息，维护Region服务器列表，分配Region，负载均衡。

Region服务器负责存储和维护分配给自己的Region，处理来自客户端的读写请求。

客户端并不是直接从Master主服务器上读取数据，而是在获得Region的存储位置信息后，直接从Region服务器上读取数据。

客户端并不依赖Master，而是通过Zookeeper来获取Region位置信息，大多数客户端甚至从来不和Master通信，这种设计方式使得Master负载很小。

4.1 表和Region

一个HBase表被划分成多个Region。按照行键字典序进行排序。

开始只有一个Region，后台不断分裂。Region拆分操作非常快，接近瞬间，因为拆分之后Region读取的仍然是原存储文件，知道“合并”过程把存储文件异步地写到独立的文件之后，才会读取新文件。

4.2Region的定位

元数据表，又名.META.表，存储了Region和Region服务器的映射关系。当HBase表很大时，.META.表也会被分裂成多个Region

根数据表，又名-ROOT-表，记录所有元数据的具体位置，-ROOR-表只有唯一一个Region，名字是在程序中被写死的。Zookeeper文件记录了-ROOT-表的位置。

客户端访问数据时的“三级寻址”

• 为了加速寻址，客户端会缓存位置信息，同时，需要解决缓存失效的问题。
• 寻址过程客户端只需要询问Zookeeper服务器，不需要连接Master服务器。

5.HBase系统架构

Client

• 包含访问HBase的接口并维护cache来加快对HBase的访问

Zookeeper

• 保证任何时候，集群中只有一个Master
• 存储所有Region的寻址入口
• 实时监控Region Server的上线和下线信息。并实时通知Master
• 存储HBase的schema和table元数据

Master

• 为Region Server分配Region
• 负责Region Server的负载均衡
• 发现失效的Region Server并重新分配其上的Region
• 管理用户对table的增删改操作

Region Server

• Region Server维护Region，处理对这些Region的IO请求
• Region Server负责切分在运行过程中变得过大的Region

HLog（WAL log）

• HLog文件就是一个普通的Hadoop Sequence File，Sequence File的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括sequence number和timestamp，timestamp是“写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
• HLog Sequence File 的Value 是 HBase的KeyValue对象，即对应HFile中的KeyValue

Region

• HBase自动把表水平划分成多个区域（Region），每个Region会保存一个表里面某段连续的数据；每个表开始只有一个Region，随着数据不断地被插入表，Region不断增大，当增大到一个阈值时，Region就会等分为两个新的Region（列表）；
• 当table中的行不断增多，就会有越来越多的Region。这样一张完整的表就会被保存在多个Region Server上。

Memstore与storefile

• 一个Region由多个Store组成，一个Store对应一个CF（列族）
• Store包括位于内存中的memstore和位于磁盘的storefile，写操作先写入memstore，当memstore中的数据达到某个阈值，Region Server会启动flashcache 进程写入storefile，每次写入形成单独的一个storefile
• 当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、major compaction），在合并过程中会进行版本合并和删除工作（majar）形成更大的storefile。
• 当一个Region所有storefile的大小超过一定阈值后，会把当前的Region分割为两个，并由Master分配到相应的Region Server，实现负载均衡。
• 客户端检索数据，现在memsotre找，找不到再找storefile
• Region时HBase分布式存储和负载均衡的最小单元。
• Region由一个或者多个Store组成，每个Stroe保存一个列族
• 每个Store又由一个memstore和0至多个storefile组成