美文网首页
Hbase_读写流程

Hbase_读写流程

作者: Eqo | 来源:发表于2022-08-06 09:34 被阅读0次

Hbase架构图

image.png

Hbase写操作

image.png

执行put命令,put 'namspace:table','rowkey','clonmu','value'

1.客户端首先访问zookeeper,获取存储元数据meta表所在的ReginServer地址.
2.客户端去访问该rs上的元数据,获取存储表的region分区所在的ReginServer地址.
3.客户端到对应rs从节点,将数据存储到该节点,先存在memstore内


image.png

对于client 来说,只需要将数据写入到memstore中就可以了,这也是Hbase快的原因
4.habse 会先将对数据的读写等操作记录到wal日志当中,然后才将数据写入进memstore中,(此时操作写入日志和数据写入memstore是事务性操作,要成功都成功,如果有一个失败,就会回滚)
wal日志的目的就是为了数据安全
5.存在内存当中的memstore,会被手动或者自动fulsh到HDFS当中,叫做Hfrie
6.fulsh后的hfire都是小文件,需要经过Minor Compaction:小合并,简单的将多个文件合成一个hfire,然后经过 Major Compaction 大合并将所有的文件合成一个文件,合并过程会清理过期,和删除的数据,消耗大量资源
7.当一个region内的数据量特别大的时候,如果在存入数据就会发生 split分裂,分裂成两个region



Hbase读数据流程

image.png

1.客户端访问zk集群,获取存储meta table所在的region server地址
2.将meta table的内容缓存到本地,并设置有效期. 当第二次查询时,直接从本地读取meta table
3.客户端到对应的rs上访问元数据,根据表名获取对应的region,根据每个region分区的rowkey范围 和rowley,获取要操作的 rs地址信息
4.到对应rs上,读取memstore的数据,
5.如果memstore上没有,就去BlockCache上读取,如果blockcache也没有就去storefire上读取,读取后将其缓存到BlockCache
6.如果一直缓存会导致 BlockCache会越来越大,Hbase使用LRU(最近最久未使用)算法来清理缓存

相关文章

  • Hbase_读写流程

    Hbase架构图 Hbase写操作 执行put命令,put 'namspace:table','rowkey',...

  • Hadoop学习2

    HDFS读写流程 写的流程: MapReduce运行流程 WordCount案例 WordCount程序演示 创建...

  • Hadoop HDFS 数据读写流程分析

    本文转载自《Hadoop HDFS 数据读写流程分析》,该文对Hdfs的读写流程分析之简洁明了,令人叹服。 HDF...

  • 大数据学习十二:HDFS读流程和写流程

    HDFS读写流程相对于HDFS Client而言,所以读流程为FSDataInputStream , 写流程为FS...

  • ES原理之写读搜索流程

    目录 非读流程写流程分布式写入写入refresh删除流程更新段合并 读流程 search流程 todo 宏观看读写...

  • HBase读写数据流程

    目录一.读写流程1.1 HBase读数据流程1.2 HBase写数据流程二. 退役(decommissioning...

  • HBase读写数据分几步?具体是怎样操作的?

    数据库最常见的操作就是读写数据,接下来,针对HBase读写数据的流程进行详细介绍。 读数据流程 从HBase中读数...

  • HDFS读写流程

    1、HDFS读流程 1、首先调用FileSystem对象的open()方法,其实获取的是一个Distributed...

  • HDFS读写流程

    (一)HDFS的读流程 读操作对于Client客户端来说是透明操作,感觉就是连续的数据流 1、Client客戶端先...

  • HDFS读写流程

    本文章主题: 写流程 读流程 HDFS遵循一次写入多次读取的原则,因此已经写入文件系统的文件是无法修改的,只能进行...

网友评论

      本文标题:Hbase_读写流程

      本文链接:https://www.haomeiwen.com/subject/kjyewrtx.html