Hbase 系列-架构图

作者: 不务正业的coder | 来源:发表于2017-08-25 16:02 被阅读50次

HBase� is the Hadoop database ,当你需要random、realtime read/write 访问你的大表时,特别是有数十亿基本的行和数百万的columns时,HBase比较适用。


下图是经典的架构图:


术语
  • HMaster 负责负载均衡
  • HRegionServer 一般与dataNode在同一个节点,处理本地数据。
  • Region:一张Table的数据放在一个或多个Region中。
  • Store(Column Family):一张Table有多个列族,一个列簇对应Region中的一个Store。
  • MemStore:每个store都有一个memStore,在数据写入WAL后,写入缓存,达到flush阈值时,会flush到disk。
  • StoreFile(HFile):实际存储数据的地方,在HDFS上。

一个流程示例,助攻理解


  1. 当客户端发起一个Put请求时,首先它从hbase:meta表中查出该Put数据最终需要去的HRegionServer。然后客户端将Put请求发送给相应的HRegionServer,在HRegionServer中它首先会将该Put操作写入WAL日志文件中(Flush到磁盘中)。

  2. 写完WAL日志文件后,HRegionServer根据Put中的TableName和RowKey找到对应的HRegion,并根据Column Family找到对应的HStore,并将Put写入到该HStore的MemStore中。此时写成功,并返回通知客户端。

  3. MemStore是一个In Memory Sorted Buffer,在每个HStore中都有一个MemStore,即它是一个HRegion的一个Column Family对应一个实例。它的排列顺序以RowKey、Column Family、Column的顺序以及Timestamp的倒序。

相关文章

  • Hbase 系列-架构图

    HBase� is the Hadoop database ,当你需要random、realtime read/w...

  • Hbase原理

    系统架构图 从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper、HMaster...

  • 《Hbase企业应用开发实战》笔记-第6章 SQL引擎

    hbase和hive集成 架构图架构图优缺点 原理把sql转为 mapreduce 客户端和hbase交互,效率低...

  • Hbase_读写流程

    Hbase架构图 Hbase写操作 执行put命令,put 'namspace:table','rowkey',...

  • Hbase

    HBase存储架构图 HBase Master 为Region server分配region 负责Region s...

  • Hbase 学习总结

    1.Hbase 架构图: 2.Hbase组件功能: 3.Hbase 常用命令: 3.1 创建表 3.2 put 操...

  • Hbase 架构

    从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper、HMaster、HRegi...

  • HBase 基础架构

    架构图如下 zookeeper HBase 在 zookeeper 中存储节点 /hbase 的子节点如下图:im...

  • HBase架构详解及读写流程

    HBase 定义 HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 HBase的架构图 ...

  • HBase学习-HBase原理

    1.系统架构 1.1 图解 从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper...

网友评论

    本文标题:Hbase 系列-架构图

    本文链接:https://www.haomeiwen.com/subject/kpcldxtx.html