美文网首页我爱编程
HBase基本概念扫盲

HBase基本概念扫盲

作者: TYcom | 来源:发表于2017-08-08 01:04 被阅读104次

它是稀疏、分布式、持久化的、多维有序映射;

shell命令行交互:HBase Shell:hbase shell

常用shell命令:list(列出HBase所有表);describe tbName(显示HBase表详细信息);create 'tbName','column family'(建表);put ‘tbName’,‘rowID’,‘column family:column quarlifier’,‘value’(新增);get 'tbName',"rowID"(读数据);scan 'tbName'(读数据);

关系数据库是二维数据库,HBase数据库是四维数据库,坐标(rowKey, column family, column qualifier, version);

HBase写机制:1.预写日志HLog;2.MemStroe;

HLog:write-ahead log,简称WAL,是HBase底层文件系统上的一个文件;HBase集群每台服务器维护一个WAL,HBase写数据之前,先写入WAL,直到WAL新纪录成功写入MemStore,写动作才算作完成;如果HBase服务器宕机,WAL具有自动回访机制,不需要手动回复;

MemStore:内存写入缓冲区,在HBase把数据持久化到硬盘之前,HBase都把数据写在MemStore,直到MemStore写满为止(MemStore大小由HBase配置文件控制),MemStore满了,HBase把数据持久化到硬盘,生成一个HFile文件;集群的每个节点上一个列族对应一个MemStore;

HFile:HBase底层存储格式,HFile对应于列族,一个列族可对应多个HFile,一个HFIle不能存多个列族;

HBase读数据:通过Get对象对标进行读取;1.检查MemStore待修改队列;2.检查BlockCache包含该行的Block最近是否被访问过;3.访问硬盘个上的HFile;

HBase读机制:HBase实现了快速读取数据,采用BlockCache(使用LRU算法:最近最少使用算法)缓存技术,

BlockCache:与MemStore在同一个JVM堆里,用来保存从HFile里读入内容的频繁访问的数据,避免硬盘读取;每个列族都有一个自己的BlockCache;

Block:BlockCache中的Block,是HBase从硬盘里完成一次读取的数据单位;是建立索引的最小数据单位;也是从硬盘读取的最小数据单位;

HFile存放形式:Block的序列外加这些Block的索引;HBase要读出一个Block需要先通过索引查找该Block,然后从硬盘读出;

随机访问Block设置小点(索引变大);顺序扫描:Block设置大点(索引项变小,索引变小);

删除数据:实质上是打上删除标记,查询时不会返回含有删除标记的单元格;

HBase合并:小合并(把多个小HFile合并为一个大HFile)、大合并(给定region的一个列族的所有HFile进行合并为一个HFile);

HBase含有时间版本概念;

HBase数据模型:表、行键、列族、列限定符、单元、时间版本;

相关文章

  • HBase基本概念扫盲

    它是稀疏、分布式、持久化的、多维有序映射; shell命令行交互:HBase Shell:hbase shell ...

  • Hbase--基础知识点总结(扫盲篇)

    冰冻三尺非一日之寒,学习也是如此!仅为知识扫盲篇,扫盲篇啊,基础性的知识! Hbase角色 HMaster 功能:...

  • Hbase学习资料

    HBase数据模型解析和基本的表设计分析 Hbase原理、基本概念、基本架构 HBase 超详细介绍 Apache...

  • HBase系统架构&数据结构介绍

    一、HBase基本概念HBase-webTable1.RowKey(行键)Row Key是用来检索记录的主键。访问...

  • HBase架构与原理

    HBASE基本概念 Hbase是构建在HDFS上的分布式列存储系统,用于海量结构化数据存储 为什么需要HBASE?...

  • HBase基本概念

    简介 本文将介绍HBase的基本概念,各个组件的组成元素以及客户端与HBase服务端交互的过程 HBase的组成元...

  • Hbase

    1. Hbase基本概念 一. 为什么要用hbase 相比于HDFS HDFS适合批处理场景, 但不支持数据的随机...

  • Hbase 基本概念

    HRegionServer内部管理了一系列HRegion对象,每个HRegion对 应了table中的一个regi...

  • Hbase基本概念

    Hbase(Hadoop Database)是建立在Hadoop文件系统之上的分布式面向列的数据库,它的主要目的是...

  • js扫盲---基本概念

    注释 ECMAscript的注释包括单行注释和块级注释; 扫盲点: 虽然块级注释的的第2、3行都以一个星号开头,...

网友评论

    本文标题:HBase基本概念扫盲

    本文链接:https://www.haomeiwen.com/subject/zluzlxtx.html