美文网首页数据库
(6)大表优化—水平拆分和垂直拆分(2)

(6)大表优化—水平拆分和垂直拆分(2)

作者: hedgehog1112 | 来源:发表于2018-07-10 12:16 被阅读39次

1,水平分割:

例:QQ的登录表。假设QQ的用户有100亿,如果只有一张表,每个用户登录的时候数据库都要从这100亿中查找,会很慢很慢。如果将这一张表分成100份,每张表有1亿条,就小了很多,比如qq0,qq1,qq1...qq99表。

用户登录的时候,可以将用户的id%100,那么会得到0-99的数,查询表的时候,将表名qq跟取模的数连接起来,就构建了表名。比如123456789用户,取模的89,那么就到qq89表查询,查询的时间将会大大缩短。

这就是水平分割。

2,垂直分割:

垂直分割指的是:表的记录并不多,但是字段却很长,表占用空间很大,检索表的时候需要执行大量的IO,严重降低了性能。这时需要把大的字段拆分到另一个表,并且该表与原表是一对一的关系。

例如学生答题表tt:有如下字段:

Id name 分数 题目 回答

其中题目和回答是比较大的字段,id name 分数比较小。

如果我们只想查询id为8的学生的分数:select 分数 from tt where id = 8;虽然知识查询分数,但是题目和回答这两个大字段也是要被扫描的,很消耗性能。但是我们只关心分数,并不想查询题目和回答。这就可以使用垂直分割。我们可以把题目单独放到一张表中,通过id与tt表建立一对一的关系,同样将回答单独放到一张表中。这样我们插叙tt中的分数的时候就不会扫描题目和回答了。

3,其他要点:

1)存放图片、文件等大文件用文件系统存储。数据库只存储路径,图片和文件存放在文件系统,甚至单独存放在一台服务器(图床)。

2)数据参数配置。

最重要的参数就是内存,我们主要用的innodb引擎,所以下面两个参数调的很大:

innodb_additional_mem_pool_size=64M

innodb_buffer_pool_size=1G

对于MyISAM,需要调整key_buffer_size,当然调整参数还是要看状态,用show status语句可以看到当前状态,以决定该调整哪些参数。

4,合理的硬件资源和操作系统

如果机器的内存超过4G,那么应当采用64位操作系统和64位MySQL。

案例:

简单购物系统暂设涉及如下表:

1.产品表(数据量10w,稳定)

2.订单表(数据量200w,且有增长趋势)

3.用户表 (数据量100w,且有增长趋势)

以mysql为例讲述下水平拆分和垂直拆分,mysql能容忍的数量级在百万静态数据可以到千万

垂直拆分:

解决问题:

表与表之间的io竞争

不解决问题:

单表中数据量增长出现的压力

方案:

把产品表和用户表放到一个server上

订单表单独放到一个server上

水平拆分:

解决问题:

单表中数据量增长出现的压力

不解决问题:

表与表之间的io争夺

方案:

用户表通过性别拆分为男用户表和女用户表

订单表通过已完成和完成中拆分为已完成订单和未完成订单

产品表 未完成订单放一个server上

已完成订单表盒男用户表放一个server上

女用户表放一个server上

相关文章

  • (6)大表优化—水平拆分和垂直拆分(2)

    1,水平分割: 例:QQ的登录表。假设QQ的用户有100亿,如果只有一张表,每个用户登录的时候数据库都要从这100...

  • MYSQL优化杂谈五,表结构设计优化

    模型设计 适度冗余,让Query尽量减少Join 大字段垂直拆分summary表优化(表的垂直拆分) 大表的水平拆...

  • 数据库拆分

    数据库拆分有垂直拆分和水平拆分两种 垂直拆分:把数据库中不同业务的数据拆分到不同的数据库中。 水平拆分:把同一个表...

  • 数据库分库分表简介

    一、分库分表是什么? 是一种数据分片技术,主要分为垂直拆分和水平拆分。垂直拆分的意思是,把部分字段及其值挪到其它表...

  • 第36期:MySQL 原生水平拆表

    引言 上一章节我们探讨过数据垂直拆分,今天我们来继续讨论数据拆分:水平拆分! 水平拆分和垂直拆分有些不一样,垂直拆...

  • 分库分表理论概述

    1.什么是分库分表 一个库一个表 拆分为 N个库N个表分为垂直拆分,水平拆分 2.为什么要分库分表 随着业务发展,...

  • 水平拆分 垂直拆分

    1.水平拆分根据数据库表行进行拆分 一般来说一张表数据量达到200W,操作速度就会变慢,我们现在分成四个表插入时...

  • shardingjdbc

    1.水平拆分:就是把同样的数据按照相同的表或者库进行复制一份或者多份2.垂直拆分:就是把一个表的字段,拆分成两个表

  • 数据库水平垂直拆分

    数据库水平垂直拆分 当数据库量非常大的时候,DB 已经成为系统瓶颈时就可以考虑进行水平垂直拆分了。 水平拆分 一般...

  • Mysql-分库分表

    分库分表 1、按业务拆分成不同的库 2、区分实时热点数据,如用户相关与运营相关数据拆分 垂直拆分:垂直分库、垂直分...

网友评论

    本文标题:(6)大表优化—水平拆分和垂直拆分(2)

    本文链接:https://www.haomeiwen.com/subject/ouzvuftx.html