美文网首页
hbase整合hive

hbase整合hive

作者: 风暴之芽 | 来源:发表于2019-02-10 15:16 被阅读0次

Hbase是被设计用来做K-V查询,但有时候也会遇到基于Hbase表的复杂统计,写MR很不方便。hive考虑到这一点,提供了操作Hbase表的接口。hive读取Hbase表,通过MR最终使用HiveHbaseTableInputFormat来读取数据,在getSplit()方法中对Hbase进行切分,切分原则是根据该表对应的Hregion,将每个region作为一个InputSplit,即该表有多少个region就有多少个map task;

每个region的大小由参数hbase.hregion.max.filesize控制,默认10G,这样会使得每个map task处理的数据文件太大,map task性能自然很差;

为Hregion表预分配region,使得每个region的大小在合理的范围;

实际操作

--在hive中新建一个外部表,

create external table h_table(id string, col1 string, age int,col2 string)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

--映射关系,id=:key;col1=f1:col1;age=f1:age;col2=f1:col2

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:col1,f1:age,f1:col2")

TBLPROPERTIES("hbase.table.name" = "table1");

另外hbase还可以对接到

相关文章

  • 【phoenix-使用】我的问题集

    问题一 场景描述:hive已整合hbase,由于业务需求使用phoenix。这时hive整合hbase的表操作将出...

  • hbase整合hive

    Hbase是被设计用来做K-V查询,但有时候也会遇到基于Hbase表的复杂统计,写MR很不方便。hive考虑到这一...

  • Hive整合Hbase

    HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查...

  • 【Hive】Hive 整合映射 HBase

    @[toc] 一、前言 HBase 只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询,对于数据...

  • Hive部署及整合Hbase和pyspark

    Hive部署及整合Hbase 1.软件版本信息 2.准备mysql 2.1 创建名称为hive的数据库 2.2 修...

  • HBase和Hive整合

    HBase版本:1.2.6Hive版本:1.2.1 1. 把HIVE_HOME/lib/hive-hbase-ha...

  • hbase集成hive操作

    集成步骤: 将hive提供的一个和hbase整合的通信包, 导入到Hbase的lib目录下cd /export/s...

  • 黑猴子的家:HBase 与 Hive 集成

    1、Hive和HBase整合集成 https://www.jianshu.com/p/425df8dbca11 2...

  • [SQL]SparkS/Hive/HBase整合

    Hive使用Spark on Yarn作为执行引擎 – lxw的大数据田地http://lxw1234.com/a...

  • hbase与hive的区别与联系

    hbase与hive的联系 两者合并起来使用可以达到‘+’的效果 hive hbase 性能 相同 HBASE优点...

网友评论

      本文标题:hbase整合hive

      本文链接:https://www.haomeiwen.com/subject/vapzsqtx.html