美文网首页
数据库水平扩展与垂直扩展

数据库水平扩展与垂直扩展

作者: 会飞的蜗牛F | 来源:发表于2020-09-23 19:36 被阅读0次

    论述一

    数据切分可以是物理上的,对数据通过一系列的切分规则将数据分布到不同的DB服务器上,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器的负载压力。

    数据切分也可以是数据库内的,对数据通过一系列的切分规则,将数据分布到一个数据库的不同表中,比如将article分为article_001,article_002等子表,若干个子表水平拼合有组成了逻辑上一个完整的article表,这样做的目的其实也是很简单的。 举个例子说明,比如article表中现在有5000w条数据,此时我们需要在这个表中增加(insert)一条新的数据,insert完毕后,数据库会针对这张表重新建立索引,5000w行数据建立索引的系统开销还是不容忽视的。但是反过来,假如我们将这个表分成100 个table呢,从article_001一直到article_100,5000w行数据平均下来,每个子表里边就只有50万行数据,这时候我们向一张只有50w行数据的table中insert数据后建立索引的时间就会呈数量级的下降,极大了提高了DB的运行时效率,提高了DB的并发量。当然分表的好处还不知这些,还有诸如写操作的锁操作等,都会带来很多显然的好处。

    综上,分库降低了单点机器的负载;分表,提高了数据操作的效率,尤其是Write操作的效率。

    论述二

    在互联网应用中。数据库经常是我们存储和訪问数据的经常使用介质。随着负载的增大,对数据库读写性能的要求往往成为非常大的挑战。在这种情况下我们能够考虑数据库相关的replication机制提高读写的性能。因为一般採用一写多读的replication机制(写master同步到多个slaves),导致这种机制往往会有缺陷。首先它依赖于读写的比例,假设写的操作过多,导致master往往成为性能的瓶颈所在,从而使得slaves的数据同步延迟也变大,进而大大消耗CPU的资源,而且导致数据的不一致从而影响到用户的体验。

    这个时候我们就要考虑使用数据库的sharding(分片)机制,这里面我们所说sharding机制并非一个数据库软件的附属功能,而是一种相对简朴的软件理念。

    一般我们把sharding机制分成水平扩展(横向扩展,或者向外扩展)和垂直扩展两种方式。

    详细什么是数据库的水平扩展和垂直扩展呢?我们以以下的样例来说明。

    比方我们如今有两个表:用户信息表 产品订单表

    水平的拆分的方案,即不改动数据库表结构。通过对表中数据的拆分而达到分片的目的

    1)使用用户id做hash,分解数据库,在訪问数据库的使用用户id做路由。

    2)将产品订单表依照已下单和未下单区分成两个表。 一般水平拆分在查询数据库的时候可能会用到union操作。

    垂直拆分的方案:将表和表分离,或者改动表结构,依照訪问的差异将某些列拆分出去

    1)将用户信息表放到一个数据库server,将产品订单表放到一个数据库server。

    2)将用户信息表中主码(通常是user id)和一些经常使用的信息放到一个表,将主码和不经常使用的信息放到另外的表。这导致一般查询数据的时候可能会用到join操作。

    在数据库的设计中,我们更关注数据库的水平扩展的能力。

    论述三

    水平拆分
    水平拆分是指数据表行的拆分,表的行数超过200万行时,就会变慢,这时可以把一张的表的数据拆成多张表来存放。

    这里写图片描述

    通常情况下,我们使用取模的方式来进行表的拆分;比如一张有400W的用户表users,为提高其查询效率我们把其分成4张表users1,users2,users3,users4
    通过用ID取模的方法把数据分散到四张表内Id%4+1 = [1,2,3,4]
    然后查询,更新,删除也是通过取模的方法来查询。

    例:QQ的登录表。假设QQ的用户有100亿,如果只有一张表,每个用户登录的时候数据库都要从这100亿中查找,会很慢很慢。如果将这一张表分成100份,每张表有1亿条,就小了很多,比如qq0,qq1,qq1…qq99表。

    用户登录的时候,可以将用户的id%100,那么会得到0-99的数,查询表的时候,将表名qq跟取模的数连接起来,就构建了表名。比如123456789用户,取模的89,那么就到qq89表查询,查询的时间将会大大缩短。

    另外部分业务逻辑也可以通过地区,年份等字段来进行归档拆分;进行拆分后的表,只能满足部分查询的高效查询需求,这时我们就要在产品策划上,从界面上约束用户查询行为。比如我们是按年来进行归档拆分的,这个时候在页面设计上就约束用户必须要先选择年,然后才能进行查询;在做分析或者统计时,由于是自己人的需求,多点等待其实是没关系的,并且并发很低,这个时候可以用union把所有表都组合成一张视图来进行查询,然后再进行查询。

    水平拆分的优点:
    ◆表关联基本能够在数据库端全部完成;
    ◆不会存在某些超大型数据量和高负载的表遇到瓶颈的问题;
    ◆应用程序端整体架构改动相对较少;
    ◆事务处理相对简单;
    ◆只要切分规则能够定义好,基本上较难遇到扩展性限制;

    水平切分的缺点:
    ◆切分规则相对更为复杂,很难抽象出一个能够满足整个数据库的切分规则;
    ◆后期数据的维护难度有所增加,人为手工定位数据更困难;
    ◆应用系统各模块耦合度较高,可能会对后面数据的迁移拆分造成一定的困难。

    垂直拆分
    垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表。表的记录并不多,但是字段却很长,表占用空间很大,检索表的时候需要执行大量的IO,严重降低了性能。这时需要把大的字段拆分到另一个表,并且该表与原表是一对一的关系。

    这里写图片描述

    通常我们按以下原则进行垂直拆分:
    1,把不常用的字段单独放在一张表;,
    2,把text,blob等大字段拆分出来放在附表中;
    3,经常组合查询的列放在一张表中;

    例如学生答题表tt:有如下字段:
    Id name 分数 题目 回答
    其中题目和回答是比较大的字段,id name 分数比较小。

    如果我们只想查询id为8的学生的分数:select 分数 from tt where id = 8;虽然知识查询分数,但是题目和回答这两个大字段也是要被扫描的,很消耗性能。但是我们只关心分数,并不想查询题目和回答。这就可以使用垂直分割。我们可以把题目单独放到一张表中,通过id与tt表建立一对一的关系,同样将回答单独放到一张表中。这样我们插叙tt中的分数的时候就不会扫描题目和回答了。

    垂直切分的优点
    ◆ 数据库的拆分简单明了,拆分规则明确;
    ◆ 应用程序模块清晰明确,整合容易;
    ◆ 数据维护方便易行,容易定位;

    垂直切分的缺点
    ◆ 部分表关联无法在数据库级别完成,需要在程序中完成;
    ◆ 对于访问极其频繁且数据量超大的表仍然存在性能平静,不一定能满足要求;
    ◆ 事务处理相对更为复杂;
    ◆ 切分达到一定程度之后,扩展性会遇到限制;
    ◆ 过读切分可能会带来系统过渡复杂而难以维护

    相关文章

      网友评论

          本文标题:数据库水平扩展与垂直扩展

          本文链接:https://www.haomeiwen.com/subject/khilsktx.html