美文网首页
尚硅谷大数据技术之HBase

尚硅谷大数据技术之HBase

作者: 尚硅谷教育 | 来源:发表于2018-12-11 16:10 被阅读23次

    1.3 HBase中的角色
    1.3.1 HMaster
    功能
    1.监控RegionServer
    2.处理RegionServer故障转移
    3.处理元数据的变更
    4.处理region的分配或转移
    5.在空闲时间进行数据的负载均衡
    6.通过Zookeeper发布自己的位置给客户端
    1.3.2 RegionServer
    功能
    1.负责存储HBase的实际数据
    2.处理分配给它的Region
    3.刷新缓存到HDFS
    4.维护Hlog
    5.执行压缩
    6.负责处理Region分片
    1.2.3 其他组件
    1.Write-Ahead logs
    HBase的修改记录,当对HBase读写数据的时候,数据不是直接写进磁盘,它会在内存中保留一段时间(时间以及数据量阈值可以设定)。但把数据保存在内存中可能有更高的概率引起数据丢失,为了解决这个问题,数据会先写在一个叫做Write-Ahead logfile的文件中,然后再写入内存中。所以在系统出现故障的时候,数据可以通过这个日志文件重建。
    2.Region
    Hbase表的分片,HBase表会根据RowKey值被切分成不同的region存储在RegionServer中,在一个RegionServer中可以有多个不同的region。
    3.Store
    HFile存储在Store中,一个Store对应HBase表中的一个列族。
    4.MemStore
    顾名思义,就是内存存储,位于内存中,用来保存当前的数据操作,所以当数据保存在WAL中之后,RegsionServer会在内存中存储键值对。
    5.HFile
    这是在磁盘上保存原始数据的实际的物理文件,是实际的存储文件。StoreFile是以Hfile的形式存储在HDFS的。

    本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源,欢迎大家关注尚硅谷公众号(atguigu)了解更多。

    相关文章

      网友评论

          本文标题:尚硅谷大数据技术之HBase

          本文链接:https://www.haomeiwen.com/subject/sglehqtx.html