美文网首页
hbase架构

hbase架构

作者: AlexDawson | 来源:发表于2019-05-23 19:49 被阅读0次

hbase是有字节码形式存储的

一、Client

1.包含访问HBase的接口并维护cache(缓存)来加快对HBase的访问

二、Zookeeper

保证了只有一个alive的Master,对RegionServer做健康检查,实时心跳,存储Region的寻址入口,存储HBase的scheme和table元数据

三、Master

Master为RegionServer分配Region,负责RegionServer的负载均衡,将失效的RegionServer(由zookeeper通知)中的Storefile转移到其他的RegionServer中,管理table的增删改操作

四、RegionServer

RegionServer维护Region,处理region的io请求,负责切分在运行过程中变得过大的Region

尽量避免过多的小文件和数据倾斜

五、Region

HBase自动把表水平划分成多个区域(region),每个region会保存一个表里面某段连续的数据

每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,region就会等分会两个新的region(裂变)

当table中的行不断增多,就会有越来越多的region。这样一张完整的表被保存在多个Regionserver 上。

hlog可以记录操作日志

region对应一个表

store对应一个列族

六、Memstore 与 storefile

一个region由多个store组成,一个store对应一个CF(列族)

store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore,当memstore中的数据达到某个阈值,hregionserver会启动flashcache进程写入storefile,每次写入形成单独的一个storefile

当storefile文件的数量增长到一定阈值后,系统会进行合并(minor、major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的storefile

当一个region所有storefile的大小和数量超过一定阈值后,会把当前的region分割为两个,并由hmaster分配到相应的regionserver服务器,实现负载均衡

客户端检索数据,先在memstore找,找不到再找storefile

hbase通过hdfsclient来存储数据存储到datenode上

相关文章

  • HBase学习笔记(二)HBase架构

    HBase Architectural Components(HBase架构组件) HBase架构也是主从架构,由...

  • HBase

    简述 1 HBase的应用场景 2 HBase的概念与定位 3 HBase架构体系与设计模型 HBase架构体系 ...

  • Hbase运行机制

    本文思路 Hbase是什么 Hbase的优劣 Hbase架构 Hbase容错 Hbase使用总结 HBase是什么...

  • (转) 深入HBase架构解析

    title: (转)HBase架构深入解析 tags: hbase categories: Hbase comme...

  • 数据存储-Hbase基础

    Outline 什么是Hbase 为什么需要Hbase Hbase的基础概念 Hbase的架构 Hbase的读写操...

  • code搬运工_HBaseClientAPI和架构

    HBaseClientAPI和架构 HBase架构HBase Master是服务器负责管理所有的HRegion服务...

  • Hbase架构和设计

    Hbase架构和设计

  • Hbase

    Hbase的架构:主从的架构方案 逻辑架构: region:逻辑的划分,一个region对hbase表的行级的划分...

  • HBase知识点

    深度分析HBase架构 HBase技术简介 Hbase 技术细节笔记(上) Hbase 技术细节笔记(下) 回答思...

  • HBase 对比 Kudu

    架构 HBase Master:管理与监控的RegionServer,管理HBase元数据; Zookeeper:...

网友评论

      本文标题:hbase架构

      本文链接:https://www.haomeiwen.com/subject/acinzqtx.html