美文网首页大数据开发
[概念]Hive 基础之:分区、桶、Sort Merge Buc

[概念]Hive 基础之:分区、桶、Sort Merge Buc

作者: 葡萄喃喃呓语 | 来源:发表于2016-10-21 10:13 被阅读154次

    Hive 基础之:分区、桶、Sort Merge Bucket Join - 远方的专栏 - 博客频道 - CSDN.NET
    http://blog.csdn.net/u014774781/article/details/50953563
    SMB join ,Join 是整个 MR/Hive 最为核心的部分之一,是每个 Hadoop/Hive/DW RD 必须掌握的部分,之前也有几篇文章聊到过 MR/Hive 中的 join,其实底层都是相同的,只是上层做了些封装而已

    1、Hive 分区表

    在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。

    Hive可以对数据按照某列或者某些列进行分区管理,所谓分区我们可以拿下面的例子进行解释。
    当前互联网应用每天都要存储大量的日志文件,几G、几十G甚至更大都是有可能。存储日志,其中必然有个属性是日志产生的日期。在产生分区时,就可以按照日志产生的日期列进行划分。把每一天的日志当作一个分区。
    将数据组织成分区,主要可以提高数据的查询速度。至于用户存储的每一条记录到底放到哪个分区,由用户决定。即用户在加载数据的时候必须显示的指定该部分数据放到哪个分区。

    2、Hive 桶
    对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。把表(或者分区)组织成桶(Bucket)有两个理由:
    (1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
    (2)使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。


    Hive基础之Hive是什么以及使用场景 - 瞌睡中的葡萄虎 - 博客园
    http://www.cnblogs.com/luogankun/p/3901685.html

    ETL的流程(Extraction-Transformate-Loading):将关系型数据库的数据抽取到HDFS上,hive作为数据仓库,经过hive的计算分析后,将结果再导入到关系型数据库的过程。

    Hive是构建在Hadoop之上的数据仓库
    1)使用HQL作为查询接口;
    2)使用HDFS作为存储;
    3)使用MapReduce作为计算;

    Hive应用场景
    数据源:
    1)文件数据,如中国移动某设备每天产生大量固定格式的文件;
    2)数据库

    以上两种不同的数据源有个共同点:要使用hive,那么必须要将数据放到hive中;通常采用如下两种方式:
    1)文件数据:load到hive
    2)数据库: sqoop到hive

    数据的离线处理;
    hive的执行延迟比较高,因为hive常用于数据分析的,对实时性要求不高;
    hive优势在于处理大数据,对于处理小数据没有优势,因为hive的执行延迟比较高。

    处理数据存放在hive表中,那么前台系统怎么去访问hive的数据呢?
    先将hive的处理结果数据转移到关系型数据库中才可以,sqoop就是执行导入导出的操作


    相关文章

      网友评论

        本文标题:[概念]Hive 基础之:分区、桶、Sort Merge Buc

        本文链接:https://www.haomeiwen.com/subject/omgquttx.html