美文网首页
Hadoop之MapReduce访问Hbase及案例

Hadoop之MapReduce访问Hbase及案例

作者: 汤汤的汤 | 来源:发表于2020-04-26 12:40 被阅读0次

    MapReduce访问Hbase

    Mapreduce访问hbase数据作分析一定是在离线分析的场景下应用。


    框架

    Hbase MapReduce核心类

    1.MapReduce基本编程模型

    通过Mapper和Reducer来处理KV对,Mapper的输出经Shuffle及Sort后变为Reducer的输入


    mapreduce基本编程模型

    2.核心类

    InputFormat和OutputFormat,定义了Map-Reduce的输入和输出相关的东西。HBase通过对这些类的扩展(继承)来方便MapReduce任务来读写HTable中的数据。


    核心类

    案例

    1.Hbase表数据转移

    2.从Hbase中读取数据、分析,写入hdfs

    3.MapReduce从HDFS读取数据存储到HBase中

    参考:https://www.jianshu.com/p/53864dc3f7b4
    https://www.cnblogs.com/Transkai/p/10748536.html
    https://www.jianshu.com/p/1dabb1a7374f
    https://www.cnblogs.com/qingyunzong/p/8681490.html

    感谢以上参考文章作者提供的帮助!此博客只是作一个简单的笔记归纳!再次感谢!

    相关文章

      网友评论

          本文标题:Hadoop之MapReduce访问Hbase及案例

          本文链接:https://www.haomeiwen.com/subject/ktpdwhtx.html