hbase是有字节码形式存储的
一、Client
1.包含访问HBase的接口并维护cache(缓存)来加快对HBase的访问
二、Zookeeper
保证了只有一个alive的Master,对RegionServer做健康检查,实时心跳,存储Region的寻址入口,存储HBase的scheme和table元数据
三、Master
Master为RegionServer分配Region,负责RegionServer的负载均衡,将失效的RegionServer(由zookeeper通知)中的Storefile转移到其他的RegionServer中,管理table的增删改操作
四、RegionServer
RegionServer维护Region,处理region的io请求,负责切分在运行过程中变得过大的Region
尽量避免过多的小文件和数据倾斜
五、Region
HBase自动把表水平划分成多个区域(region),每个region会保存一个表里面某段连续的数据
每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,region就会等分会两个新的region(裂变)
当table中的行不断增多,就会有越来越多的region。这样一张完整的表被保存在多个Regionserver 上。
hlog可以记录操作日志
region对应一个表
store对应一个列族
六、Memstore 与 storefile
一个region由多个store组成,一个store对应一个CF(列族)
store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore,当memstore中的数据达到某个阈值,hregionserver会启动flashcache进程写入storefile,每次写入形成单独的一个storefile
当storefile文件的数量增长到一定阈值后,系统会进行合并(minor、major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的storefile
当一个region所有storefile的大小和数量超过一定阈值后,会把当前的region分割为两个,并由hmaster分配到相应的regionserver服务器,实现负载均衡
客户端检索数据,先在memstore找,找不到再找storefile
hbase通过hdfsclient来存储数据存储到datenode上
网友评论