美文网首页
kudu表分区

kudu表分区

作者: 0_oHuanyu | 来源:发表于2018-06-07 15:28 被阅读285次

kudu表的数据结构是列式存储,但也支持像mysql那样进行检索,而且与spark、impala等现有的应用完美契合,可以说是是大数据平台上支持快速sql查询的上佳选择了。它的好处这里不多说啦,公司的大数据查询有一部分是用到这个技术,这里就列几个其他博客里不常见的涉及kudu表分区的语句(其实官网里都有,只是中文博客里还没见到)。

分区有两种方式,hash 和range分区,
hash分区的语句:
CREATE TABLE kudu_table ( id BIGINT, name STRING, PRIMARY KEY(id) ) PARTITION BY HASH PARTITIONS 16 STORED AS KUDU;

从别的表拉数据新建kudu表的语句:
CREATE TABLE kudu_table PRIMARY KEY (name,age) PARTITION BY HASH(name,age) PARTITIONS 8 STORED AS KUDU AS SELECT name, age FROM old_table;

这里有一个点就是hash分区是可以指定两个列的,注意hash(a),hash(b)和hash(a,b)的含义并不一样。还有就是主键的设计,主键是不允许重复的,重复时后插入的数据会报错(impala中会导致插入无效)

range分区的语句:
CREATE TABLE new_table PRIMARY KEY (name,age) PARTITION BY range(age) ( PARTITION 1<= VALUES <10, PARTITION 10<= VALUES <20, PARTITION 20<= VALUES <30 ) STORED AS KUDU AS SELECT name, age FROM lol;

与mysql类似的,kudu中range分区的表也是支持增加分区的,增加分区的语句为:
alter table new_table add range partition 30<=values<40

相关文章

  • kudu表分区

    kudu表的数据结构是列式存储,但也支持像mysql那样进行检索,而且与spark、impala等现有的应用完美契...

  • 迟到的Kudu设计要点面面观(前篇)

    目录 Prologue Kudu的初衷 集群架构与共识保证 表与分区的设计 底层存储设计细节 事务与数据一致性(待...

  • Kudu快速入门与原理介绍

    Kudu 简介 kudu简单来说与结构化数据库非常相似,kudu中定义表时与结构化数据库相似,需要定义Schema...

  • MBR分区与GPT分区

    Linux系统中有两种常见的分区表 MBR分区表(主引导记录分区表)和 GPT分区表(GUID分区表) MBR分区...

  • Vertica的这些事(九)—— vertica存储统计信息

    vertica存储统计信息: 表数量: 分区表数量: 总表占大小: 分区表总大小: 分区表大小(前10): 分区表...

  • HiveQL 数据定义:分区

    分区• 建立分区表• 增加分区• 重命名分区• 删除分区 hive组织表到分区。它是将一个表到基于分区列,如日期,...

  • db2表分区

    1. 表分区作用 表分区可扩展表的存储能力、对于大量数据表使用分区字段可提高查询效率。 2. 创建表分区 cre...

  • Kudu数据模型与架构介绍

    Kudu是一个强类型的纯列式存储数据库。类似于HBase,Kudu的表是由很多数据子集构成的,表被水平拆分成多个T...

  • Mysql 分区表删除

    分区表删除部分分区 使用场景:从 MySQL 5.1 开始,支持分区 创建日志表时建议使用分区方式 在上表的分区表...

  • Hive使用Beeline的DDL操作

    beeline进入交互命令行 内部表 外部表 分区表 分桶表 分桶表&分区表 导入数据的时候需要指定分区 倾斜表 ...

网友评论

      本文标题:kudu表分区

      本文链接:https://www.haomeiwen.com/subject/bzegsftx.html