美文网首页
Apache Doris——数据表的创建

Apache Doris——数据表的创建

作者: 小波同学 | 来源:发表于2023-01-01 21:45 被阅读0次

    前言—Doris 基本概念

    Doris 数据分布

    • 1、从表的角度来看数据结构，用户的一张 Table 会拆成多个 Tablet，Tablet 会存成多副本，存储在不同的 BE中，从而保证数据的高可用和高可靠。

    • 2、数据主要都是存储在BE里面，BE节点上物理数据的可靠性通过多副本来实现，默认是3副本，副本数可配置且可随时动态调整,满足不同可用性级别的业务需求。FE调度BE上副本的分布与补齐。

    • 3、如果说用户对可用性要求不高，而对资源的消耗比较敏感的话，我们可以在建表的时候选择建两副本或者一副本。

    • 4、Tablet & Partition

      • 1.在 Doris 的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。
      • 2.每个 Tablet 包含若干数据行。各个 Tablet 之间的数据没有交集，并且在物理上是独立存储的。
      • 3.多个 Tablet 在逻辑上归属于不同的分区（Partition）。一个 Tablet 只属于一个 Partition。而一个 Partition
      • 4.包含若干个 Tablet。因为 Tablet 在物理上是独立存储的，所以可以视为 Partition 在物理上也是独立。
      • 5.Tablet 是数据移动、复制等操作的最小物理存储单元。
        若干个 Partition 组成一个 Table。
      • 6.Partition 可以视为是逻辑上最小的管理单元。数据的导入与删除，都可以或仅能针对一个 Partition 进行。

    Doris 数据可靠性

    元数据层面，Doris采用Paxos协议以及Memory + Checkpoint + Journal的机制来确保元数据的高性能及高可靠。

    元数据的每次更新，都会遵照以下几步：

    • 1、首先写入到磁盘的日志文件中
    • 2、然后再写到内存中
    • 3、最后定期checkpoint到本地磁盘上

    Doris 内部自行管理数据的多副本和自动修复。保证数据的高可用、高可靠。在服务器宕机的情况下，服务依然可用，数据也不会丢失。

    一、创建用户和数据库

    mysql> create user 'test' identified by 'test';
Query OK, 0 rows affected (0.01 sec)

mysql> create database test;
Query OK, 0 rows affected (0.01 sec)

mysql> grant all on test to test;
Query OK, 0 rows affected (0.01 sec)

    二、建表示例

    基本语法

    CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...]
[, index_definition1[, index_definition12,]])
[ENGINE = [olap|mysql|broker|hive]]
[key_desc]
[COMMENT "table comment"];
[partition_desc]
[distribution_desc]
[rollup_index]
[PROPERTIES ("key"="value", ...)]
[BROKER PROPERTIES ("key"="value", ...)];

    Doris的建表是一个同步命令，命令返回成功，即表示建表成功。

    Doris 支持支持单分区和复合分区两种建表方式。

    • 1、复合分区：既有分区也有分桶

      • 第一级称为 Partition，即分区。用户可以指定某一维度列作为分区列（当前只支持整型和时间类型的列），并指定每个分区的取值范围；
      • 第二级称为 Distribution，即分桶。用户可以指定一个或多个维度列以及桶数对数据进行HASH分布。

    • 2、单分区：只做HASH分布，即只分桶。

    字段类型

    聚合模型在定义字段类型后，可以指定字段的agg_type聚合类型，如果不指定，则该列为key列。否则，该列为value列，agg_type类型包括：SUM、MAX、MIN、REPLACE。

    示例

    Range分区

    CREATE TABLE IF NOT EXISTS test.expamle_range_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户 id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `timestamp` DATETIME NOT NULL COMMENT "数据灌入的时间戳",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
ENGINE=olap
AGGREGATE KEY(`user_id`, `date`, `timestamp`, `city`, `age`, `sex`)
PARTITION BY RANGE(`date`)
(
    PARTITION `p201701` VALUES LESS THAN ("2017-02-01"),
    PARTITION `p201702` VALUES LESS THAN ("2017-03-01"),
    PARTITION `p201703` VALUES LESS THAN ("2017-04-01")
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 16
PROPERTIES
(
    "replication_num" = "1",
    "storage_medium" = "SSD",
    "storage_cooldown_time" = "2022-06-01 12:00:00"
);

    List分区

    CREATE TABLE IF NOT EXISTS test.expamle_list_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户 id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `timestamp` DATETIME NOT NULL COMMENT "数据灌入的时间戳",
    `city` VARCHAR(20) NOT NULL COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
ENGINE=olap
AGGREGATE KEY(`user_id`, `date`, `timestamp`, `city`, `age`, `sex`)
PARTITION BY LIST(`city`)
(
    PARTITION `p_cn` VALUES IN ("Beijing", "Shanghai", "Hong Kong"),
    PARTITION `p_usa` VALUES IN ("New York", "San Francisco"),
    PARTITION `p_jp` VALUES IN ("Tokyo")
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 16
PROPERTIES
(
    "replication_num" = "1",
    "storage_medium" = "SSD",
    "storage_cooldown_time" = "2022-06-01 12:00:00"
);

    三、数据划分

    列定义

    以AGGREGATE KEY数据模型为例进行说明。更多数据模型参阅Doris数据模型。
    列的基本类型，可以通过在mysql-client中执行HELP CREATE TABLE;查看。AGGREGATE KEY数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为Key列。而其余则为Value列。
    定义列时，可参照如下建议：

    • 1、Key列必须在所有Value列之前。
    • 2、尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。
    • 3、对于不同长度的整型类型的选择原则，遵循够用即可。
    • 4、对于VARCHAR和STRING类型的长度，遵循够用即可。
    • 5、所有列的总字节长度（包括Key和Value）不能超过100KB。

    分区与分桶

    Doris 支持两层的数据划分。第一层是Partition，支持Range和List划分方式。第二层是Bucket（Tablet），仅支持Hash的划分方式。也可以仅使用一层分区，此时，只支持Bucket划分。

    Partition分区

    Partition列可以指定一列或多列。分区类必须为KEY列。

    • 1、多列分区的使用方式在后面介绍；
    • 2、不论分区列是什么类型，在写分区值时，都需要加双引号；
    • 3、分区数量理论上没有上限；
    • 4、当不使用 Partition 建表时，系统会自动生成一个和表名同名的，全值范围的Partition。该 Partition 对用户不可见，并且不可删改。

    Range 分区

    分区列通常为时间列，以方便的管理新旧数据。不可添加范围重叠的分区。

    Partition 指定范围的方式

    VALUES LESS THAN (...)仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。分区的删除不会改变已存在分区的范围，但可能出现数据空洞。
    VALUES [...) 指定同时指定上下界，生成一个左闭右开的区间。

    通过VALUES [...) 同时指定上下界比较容易理解。这里举例说明，当使用VALUESLESS THAN (...)语句进行分区的增删操作时，分区范围的变化情况：

    • （1）以如上expamle_range_tbl为例，当建表完成后，会自动生成如下3个分区：
    p201701: [MIN_VALUE, 2017-02-01)
p201702: [2017-02-01, 2017-03-01)
p201703: [2017-03-01, 2017-04-01)
    • （2）增加一个分区p201705 VALUES LESS THAN (“2017-06-01”)，分区结果如下：
    p201701: [MIN_VALUE, 2017-02-01)
p201702: [2017-02-01, 2017-03-01)
p201703: [2017-03-01, 2017-04-01)
p201705: [2017-04-01, 2017-06-01)
    • （3）此时删除分区p201703，则分区结果如下：
    p201701: [MIN_VALUE, 2017-02-01)
p201702: [2017-02-01, 2017-03-01)
p201705: [2017-04-01, 2017-06-01)

    注意到p201702和p201705的分区范围并没有发生变化，而这两个分区之间，出现了一个空洞：[2017-03-01, 2017-04-01)。即如果导入的数据范围在这个空洞范围内，是无法导入的。

    • （4）继续删除分区p201702，分区结果如下：
    p201701: [MIN_VALUE, 2017-02-01)
p201705: [2017-04-01, 2017-06-01)

    空洞范围变为：[2017-02-01, 2017-04-01)

    • （5）现在增加一个分区p201702new VALUES LESS THAN (“2017-03-01”)，分区结果如下：
    p201701: [MIN_VALUE, 2017-02-01)
p201702new: [2017-02-01, 2017-03-01)
p201705: [2017-04-01, 2017-06-01)

    可以看到空洞范围缩小为：[2017-03-01, 2017-04-01)

    • （6）现在删除分区p201701，并添加分区p201612 VALUES LESS THAN (“2017-01-01”)，分区结果如下：
    p201612: [MIN_VALUE, 2017-01-01)
p201702new: [2017-02-01, 2017-03-01)
p201705: [2017-04-01, 2017-06-01)

    即出现了一个新的空洞：[2017-01-01, 2017-02-01)

    List 分区

    分区列支持BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR数据类型，分区值为枚举值。只有当数据为目标分区枚举值其中之一时，才可以命中分区，不可添加范围重叠的分区。

    Partition支持通过VALUES IN (...)来指定每个分区包含的枚举值。下面通过示例说明，进行分区的增删操作时，分区的变化。

    • （1）以example_list_tbl为例，当建表完成后，会自动生成如下3个分区：
    p_cn: ("Beijing", "Shanghai", "Hong Kong")
p_usa: ("New York", "San Francisco")
p_jp: ("Tokyo")
    • （2）增加一个分区p_uk VALUES IN (“London”)，分区结果如下：
    p_cn: ("Beijing", "Shanghai", "Hong Kong")
p_usa: ("New York", "San Francisco")
p_jp: ("Tokyo")
p_uk: ("London")
    • （3）删除分区p_jp，分区结果如下：
    p_cn: ("Beijing", "Shanghai", "Hong Kong")
p_usa: ("New York", "San Francisco")
p_uk: ("London")

    Bucket

    • 1、如果使用了Partition，则DISTRIBUTED ...语句描述的是数据在各个分区内的划分规则。如果不使用Partition，则描述的是对整个表的数据的划分规则；
    • 2、分桶列可以是多列，但必须为Key列。分桶列可以和Partition列相同或不同；
    • 3、分桶列的选择，是在 查询吞吐和查询并发 之间的一种权衡：
      • 1、如果选择多个分桶列，则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景；
      • 2、如果仅选择一个或少数分桶列，则对应的点查询可以仅触发一个分桶扫描。此时，当多个点查询并发时，这些查询有较大的概率分别触发不同的分桶扫描，各个查询之间的IO影响较小（尤其当不同桶分布在不同磁盘上时），所以这种方式适合高并发的点查询场景。
    • 4、分桶的数量理论上没有上限。

    使用复合分区的场景

    • 1、有时间维度或类似带有有序值的维度，可以以这类维度列作为分区列。分区粒度可以根据导入频次、分区数据量等进行评估。
    • 2、历史数据删除需求：如有删除历史数据的需求（比如仅保留最近N天的数据）。使用复合分区，可以通过删除历史分区来达到目的。也可以通过在指定分区内发送DELETE语句进行数据删除。
    • 3、解决数据倾斜问题：每个分区可以单独指定分桶数量。如按天分区，当每天的数据量差异很大时，可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择区分度大的列。

    多列分区

    Doris支持指定多列作为分区列，示例如下：

    Range分区

    PARTITION BY RANGE(`date`, `id`)
(
PARTITION `p201701_1000` VALUES LESS THAN ("2017-02-01", "1000"),
PARTITION `p201702_2000` VALUES LESS THAN ("2017-03-01", "2000"),
PARTITION `p201703_all` VALUES LESS THAN ("2017-04-01")
)

    指定date(DATE类型) 和 id(INT类型) 作为分区列。以上示例最终得到的分区如下：

    p201701_1000: [(MIN_VALUE, MIN_VALUE), ("2017-02-01", "1000") )
p201702_2000: [("2017-02-01", "1000"), ("2017-03-01", "2000") )
p201703_all: [("2017-03-01", "2000"), ("2017-04-01", MIN_VALUE))

    注意，最后一个分区用户缺省只指定了date列的分区值，所以id列的分区值会默认填充MIN_VALUE。当用户插入数据时，分区列值会按照顺序依次比较，最终得到对应的分区。举例如下（数据 --> 分区）：

    2017-01-01, 200 --> p201701_1000
2017-01-01, 2000 --> p201701_1000
2017-02-01, 100 --> p201701_1000
2017-02-01, 2000 --> p201702_2000
2017-02-15, 5000 --> p201702_2000
2017-03-01, 2000 --> p201703_all
2017-03-10, 1 --> p201703_all
2017-04-01, 1000 --> 无法导入
2017-05-01, 1000 --> 无法导入

    List分区

    PARTITION BY LIST(`id`, `city`)
(
PARTITION `p1_city` VALUES IN (("1", "Beijing"), ("1","Shanghai")),
PARTITION `p2_city` VALUES IN (("2", "Beijing"), ("2","Shanghai")),
PARTITION `p3_city` VALUES IN (("3", "Beijing"), ("3","Shanghai"))
)

    指定id(INT类型) 和city(VARCHAR类型) 作为分区列。最终得到的分区如下：

    p1_city: [("1", "Beijing"), ("1", "Shanghai")]
p2_city: [("2", "Beijing"), ("2", "Shanghai")]
p3_city: [("3", "Beijing"), ("3", "Shanghai")]

    当用户插入数据时，分区列值会按照顺序依次比较，最终得到对应的分区。举例如下：
    数据 —> 分区

    1, Beijing ---> p1_city
1, Shanghai ---> p1_city
2, Shanghai ---> p2_city
3, Beijing ---> p3_city
1, Tianjin ---> 无法导入
4, Beijing ---> 无法导入

    PROPERTIES

    在建表语句的最后 PROPERTIES 中，可以指定replication_num、storage_medium和storage_cooldown_time三个参数。

    replication_num

    每个Tablet的副本数量。默认为3，建议保持默认即可。在建表语句中，所有Partition中的Tablet副本数量统一指定。而在增加新分区时，可以单独指定新分区中Tablet的副本数量。

    副本数量可以在运行时修改。强烈建议保持奇数。

    最大副本数量取决于集群中独立IP的数量（注意不是BE数量）。Doris中副本分布的原则是，不允许同一个Tablet的副本分布在同一台物理机上，而识别物理机即通过IP。所以，即使在同一台物理机上部署了3个或更多BE实例，如果这些BE的IP相同，则依然只能设置副本数为1。

    对于一些小，并且更新不频繁的维度表，可以考虑设置更多的副本数。这样在Join查询时，可以有更大的概率进行本地数据Join。

    torage_medium & storage_cooldown_time

    BE的数据存储目录可以显式的指定为SSD或者HDD（通过.SSD或者.HDD后缀区分）。建表时，可以统一指定所有Partition初始存储的介质。注意，后缀作用是显式指定磁盘介质，而不会检查是否与实际介质类型相符。

    默认初始存储介质可通过fe的配置文件fe.conf中指定default_storage_medium=xxx，如果没有指定，则默认为HDD。如果指定为SSD，则数据初始存放在SSD上。

    如果没有指定storage_cooldown_time，则默认30天后，数据会从SSD自动迁移到HDD上。如果指定了storage_cooldown_time，则在到达storage_cooldown_time时间后，数据才会迁移。

    注意，当指定storage_medium时，如果FE参数enable_strict_storage_medium_check为False该参数只是一个“尽力而为”的设置。即使集群内没有设置SSD存储介质，也不会报错，而是自动存储在可用的数据目录中。 同样，如果SSD介质不可访问、空间不足，都可能导致数据初始直接存储在其他可用介质上。而数据到期迁移到HDD时，如果HDD介质不可访问 、空间不足，也可能迁移失败（ 但是会不断尝试）。如果FE参数enable_strict_storage_medium_check为True则当集群内没有设置SSD存储介质时，会报错Failed to find enough host in all backends with storage medium is SSD。

    ENGINE

    本示例中，ENGINE的类型是olap，即默认的ENGINE类型。在Doris中，只有这个ENGINE类型是由Doris负责数据管理和存储的。其他ENGINE类型，如mysql、broker、es等等，本质上只是对外部其他数据库或系统中的表的映射，以保证Doris可以读取这些数据。而Doris本身并不创建、管理和存储任何非olap ENGINE类型的表和数据。

    其他

    IF NOT EXISTS表示如果没有创建过该表，则创建。注意这里只判断表名是否存在，而不会判断新建表结构是否与已存在的表结构相同。

    参考：
    https://blog.csdn.net/qq_37475168/article/details/125570856

    相关文章

      网友评论

          本文标题：Apache Doris——数据表的创建

          本文链接：https://www.haomeiwen.com/subject/bxxhcdtx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|Apache Doris——数据表的创建|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！