美文网首页Java架构师专题
一文带你理解mysql中的分区表和合并表(一个常见知识点)

一文带你理解mysql中的分区表和合并表(一个常见知识点)

作者: 愚公要移山 | 来源:发表于2020-01-13 11:18 被阅读0次

分区表是mysql5.1之后的新特性,合并表已经存在很长时间了。这篇文章主要介绍这两个概念以及他们基本的操作。

一、合并表

合并表说实话是一种将要被淘汰的技术,但是掌握了合并表的概念再去看分区表就比较容易理解一点。

合并表其实就是合并了多个子表的逻辑表,子表使用了myisam存储引擎物理子表,合并表使用merge存储引擎,逻辑表和子表的结构完全相同(包括字段、索引等)。

删除一个合并表,它的子表不会受任何影响,而如果删除其中一个子表则可能会有不同的后果,这要视操作系统而定。

下面我们进行实操一下:创建量两张物理子表t1和t2,然后创建他们俩的合并表。

#创建表t1和t2,存储引擎是myisam
mysql> create table t1( data int not null primary key )engine=myisam;
Query OK, 0 rows affected (0.00 sec)
mysql> create table t2( data int not null primary key )engine=myisam;
#创建合并表,存储引擎是merge
mysql> create table t3( data int not null primary key )
    engine=merge union=(t1,t2) insert_method=last;
Query OK, 0 rows affected (0.00 sec)
#下面插入数据:t1插入123,t2插入234
Query OK, 0 rows affected (0.01 sec)
mysql> insert into t1 values(1),(2),(3);
Query OK, 3 rows affected (0.01 sec)
Records: 3  Duplicates: 0  Warnings: 0
mysql> insert into t2 values(2),(3),(4);
Query OK, 3 rows affected (0.00 sec)
Records: 3  Duplicates: 0  Warnings: 0

在上面我们进行了一些初始化操作。而且我们在创建合并表的时候,指定了insert_method为last,意思就是在最后一张物理表的末尾插入真实数据,这里最后一张真实物理表就是t2。此时我们插入一个数据5会发现:t1没有,t2有。

mysql> insert into t3 values(5);
Query OK, 1 row affected (0.00 sec)
mysql> select * from t1;
+------+
| data |
+------+
|    1 |
|    2 |
|    3 |
+------+
3 rows in set (0.00 sec)
mysql> select * from t2;
+------+
| data |
+------+
|    2 |
|    3 |
|    4 |
|    5 |
+------+
4 rows in set (0.00 sec)

合并表的内容很简单,也很容易理解。既然表能合并肯定也能分开。我们接着看分区表:

二、分区表

分区表就是把一张表分开,对用户来说,分区表是一个独立的逻辑表,但是底层由多个物理子表组成。实现分区的代码实际上是对一组底层表的句柄对象的封装。对分区表的请求,都会通过句柄对象转化成对存储引擎的接口调用。分区表的每一个分区都是有索引的独立表。

分区表发挥大作用的场景:

(1)表非常大以至于无法全部都放在内存中,或者只在表的最后部分有热点数据,其他均是历史数据。

(2)分区表的数据更容易维护。

(3)分区表的数据可以分布在不同的物理设备上。

(4)可以使用分区表来避免某些特殊的瓶颈,例如InnoDB单个索引的互斥访问。

(5)如果需要,还可以备份和恢复独立的分区,这在非常大的数据集的场景下效果非常好。

分开的方式有三种:

(1)水平分区:根据行切分,也就是把记录分开。

(2)垂直分区:根据列切分,也就是把字段分开。

(3)复合分区:水平分区和垂直分区的结合。

我们按照这两种方式来实际操作一下:

1、水平分区

(1)range分区

range分区是基于连续的范围值。

mysql> create table t4(
    -> id int not null,
    -> score int 
    -> )
    -> partition by range(score)
    -> (
    -> partition s1 values less than(60),
    -> partition s2 values less than(80),
    -> partition s3 values less than(90),
    -> partition s4 values less than maxvalue
    -> );
#下面开始插入数据
mysql> insert into t4 values (1,69),(2,85),(3,100),(4,5);
#删除某个范围内的用户,只需要删除相应的分区即可
mysql> alter table t4 drop partition s2;

在这里需要注意的是,alter形式删除分区比delete形式更加的高效。一般都是基于日期时间进行分区。

(2)List分区

range分区是基于连续的范围,list是基于确定值的范围,就好比集合。

mysql> create table t5(
    -> name varchar(20),
    -> socre int,
    -> no int
    -> )
    -> partition by list (no)
    -> (
    -> partition n1 values in (10,20),
    -> partition n2 values in (30),
    -> partition n3 values in (40)
    -> );

这种不是指的范围,而是指的具体的值,10号和20在n1分区,30在n2分区。

(3)Hash分区

hash分区指的是根据hash运算的模,最终确定在哪一个分区。比如2020/4=0,就落在分区0上。

mysql> create table t6(
    -> id int,
    -> name varchar(20),
    -> birth date not null,
    -> socre int
    -> )
    -> partition by hash (year(birth))
    -> partitions 4;
#插入一条数据
mysql> insert into t6 values(1,'fdd','2020-01-20',99);
Query OK, 1 row affected (0.00 sec)

此时我们2020/4=0,就会保存在分区0中。

(4)线性Hash分区

线性hash指的是使用2的幂运算法则。运算起来比较麻烦。但是优点是可以使得数据分布均匀。举个例子。假设分区个数num=6,N表示数据最终存储的分区:

第一步:V = power(2, ceiling(log(2, num))),log是计算NUM以2为底的对数,ceiling()向上取整,power()是取2的次方值;

第二步:N=values&(V-1),&位与运算,

第三步:while N>=num,此时N =N & (CEIL(V/ 2) - 1)

比如插入2020-01-20,V=8,N=(2020)& (8-1)=4。4<6,所以保存在分区4。

代码就不演示了,区别就是by hash换成by linear hash。

2、垂直分区

垂直分区比较少,直接通过key字段名进行划分即可。

mysql> create table t7(
    -> id int,
    -> name varchar(20),
    -> no int,
    -> score int
    -> )
    -> partition by key(id)
    -> partitions 4;
Query OK, 0 rows affected (0.03 sec)

垂直分区相当简单。

3、复合分区

上面介绍了水平和复合的方式,复合分区的方式是进行组合。你可以随意搭配。这里演示一种。

mysql> create table t8(
    -> id int,
    -> name varchar(20),
    -> birth date not null,
    -> score int
    -> )
    -> partition by list (id)
    -> subpartition by key (birth)
    -> subpartitions 4
    -> (
    -> partition p1 values in (10),
    -> partition p2 values in (20,30)
    -> );
Query OK, 0 rows affected (0.04 sec)

父分区使用list,子分区使用垂直分区。

在这里介绍了分区表的一些概念和基础的使用方法。其实分区表也有很多限制。

分区表的限制:

(1)一个表最多只能有1024个分区。

(2)如果分区字段中有主键或者唯一索引的列,那么所有主键列和唯一索引列都必须包含进来。

(3)分区表中无法使用外键约束。

(4)所有分区都必须使用相同的存储引擎。

(5)某些存储引擎不支持分区。比如说merge、InnoDB、CSV、联合存储引擎等。

MERGE存储引擎。 用户定义的分区和MERGE 存储引擎不兼容。分区表无法合并。

联合存储引擎。 FEDERATED不支持 分区表; 不可能创建分区 FEDERATED表。

CSV存储引擎。 CSV不支持使用存储引擎的分区表; 不可能创建分区CSV表。

InnoDB存储引擎。 InnoDB外键和MySQL分区不兼容。分区 InnoDB表不能有外键引用,也不能有外键引用的列。InnoDB具有或由外键引用的表不能分区。

(6)对于MyISAM表,使用分区表时需要打开更多的文件描述符。

所以在使用的时候一定要注意。


最新的扁平化的宣传模板.png

相关文章

  • 一文带你理解mysql中的分区表和合并表(一个常见知识点)

    分区表是mysql5.1之后的新特性,合并表已经存在很长时间了。这篇文章主要介绍这两个概念以及他们基本的操作。 一...

  • MBR分区与GPT分区

    Linux系统中有两种常见的分区表 MBR分区表(主引导记录分区表)和 GPT分区表(GUID分区表) MBR分区...

  • MySQL分区表

    确认mysql是否支持分区表 mysql分区表的特点 创建mysql数据表为hash表 常用mysql分区的类型 ...

  • MySQL-分区表

    MySQL-分区表 分区表(于MySQL 5.1引入,v 5.5后可以逐步考虑用于生产环境) 是一个独立的逻辑表,...

  • Mysql 分区表

    MySQL分区表支持RANGE,LIST,HASH,KEY,COLUMNS多种分区算法。 分区表的唯一索引和主键索...

  • mysql合并表与分区表

    分区和分表相似,都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表,而分区是将数据分段划分在多个位置存...

  • hive的严格模式和分区

    相比mysql,hive有严格模式存在,为了不错误扫描整个数据,hive的分区表会将数据分成几个分区。查询分区表中...

  • MYSQL-高拓展和高可用

    1.分区表的原理 工作原理 1.对用户而言,分区表是一个独立的逻辑表,但是底层 MYSQL将其分成了多个物理子表,...

  • 5.5MySQL高可扩展和高可用考点

    考官考点分区表的原理分库分表的原理延伸:MySQL的复制原理及负载均衡 工作原理对用户而言,分区表是一个独立的逻辑...

  • 5.5MySQL高可扩展和高可用考点 - 草稿

    考官考点分区表的原理分库分表的原理延伸:MySQL的复制原理及负载均衡 工作原理对用户而言,分区表是一个独立的逻辑...

网友评论

    本文标题:一文带你理解mysql中的分区表和合并表(一个常见知识点)

    本文链接:https://www.haomeiwen.com/subject/oxpgactx.html