美文网首页
face20 mysql高扩展和高可用

face20 mysql高扩展和高可用

作者: 谢凌 | 来源:发表于2018-11-11 16:23 被阅读0次

mysql高扩展和高可用

设定网站的用户数量在千万级,但是活跃用户的数量只有1%,如何通过优化数据库提高活跃用户的访问速度

分区  活跃用户一个区 不活跃用户另一个区 提高访问速度

分库 分表 水平切分  活跃用户一个表 不活跃用户另一个表 提高访问速度

简述mysql分表操作和分区操作的工作原理,分别说说分区和分表的使用场景和各自的优缺点

分区表的原理

工作原理

对用户而言,分区表是一个独立的逻辑表,但是底层 Mysql将其分成了多个物理子表,这对用户来说是透明的,每一个分区表都会使用一个独立的表文件

创建表时使用 partition by子句 定义每个分区存放的数据,执行查询时,优化器会根据分区定义过滤那些没有我们需要数据的分区,这样查询只需要查询所需数据在的分区即可

分区的主要目的是将数据按照一个较粗的粒度分在不同的表中,这样可以将相关的数据存放在一起,而且如果想一次性删除整个分区的数据也很方便

适用场景

表非常大,无法全部存在内存,或者只在表的最后有热点数据

其他都是历史数据

分区表的数据更易于维护,可以对独立的分区进行独立的操作

分区表的数据可以分布在不同的机器上,从而高效使用资源

可以使用分区表来避免某些特殊的瓶颈

可以备份和回复独立的分区

限制

一个表最多只能有1024个分区

5.1版本中,分区表表达式必须是整数,5.5可以使用列分区

分区字段中如果有主见和唯一索引列,那么主键列和唯一列都必须包含进来

分区表中无法使用外键约束

需要对现有表的结构进行修改

所有分区都必须使用相同的存储引擎

分区函数中可以使用函数和表达式会有一些限制

某些存储引擎不支持分区

对于myisam的分区表,不能使用 load index into  cache

对于myisam表,使用分区表需要打开更多的文件描述符

分库分表的原理

工作原理

通过一些 Hash算法或者工具实现将一张数据表垂直或者水平进行物理切分

使用场景

单表记录条数达到百万到千万级别时

解决表锁的问题

分表方式

水平分割

表很大,分割后可以降低查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询速度

使用场景

表中的数据本身就有独立性,例如表中分别记录各个地区的数据或者不同时期的数据 特别是有些数据常用,有些不常用

需要把数据存放在多个介质上

水平分表缺点

给应用增加复杂度,通常查询时需要多个表明,查询所有数据都需union操作

在许多数据库应用总,这种复杂性会超过它带来的优点,查询时会增加读一个索引层的磁盘次数

垂直分表

把主键和一些列放在一个表,然后把主键和另外的列放在另一个表中

使用场景

如果一个表中某些列常用,而另外一些列不常用

可以使数据行变小,一个数据页能存储更多的数据,查询时减少i/o次数

垂直分表缺点

管理冗余列 查询所有数据都需要join操作

分表的缺点

有些分表的策略基于应用层的逻辑算法,一旦逻辑算法改变,整个分表逻辑都会改变,扩展性较差

对于应用层来说,逻辑算法无疑增加开发成本

mysql的复制原理及负载均衡

mysql主从复制的工作原理

从主库上把数据更改记录到二进制日志

从库将主库的日志复制到自己的中继日志

从库读取中继日志中的时间 将其重放到从库数据中

mysql主从复制解决的问题

数据分布:随意停止或开始复制,并在不同地理位置分布数据备份

负载均衡:降低单个服务器的压力

高可用和故障切换:帮助应用程序避免单点失败

升级测试:可以使用更高版本的mysql作为从库

相关文章

  • face20 mysql高扩展和高可用

    mysql高扩展和高可用 设定网站的用户数量在千万级,但是活跃用户的数量只有1%,如何通过优化数据库提高活跃用户的...

  • 5.5MySQL高可扩展和高可用考点

    考官考点分区表的原理分库分表的原理延伸:MySQL的复制原理及负载均衡 工作原理对用户而言,分区表是一个独立的逻辑...

  • 有关mysql的想法

    mgr 能够提供 mysql 高可用的特性 , 以及9节点横向扩展的能力 , 扩展只是吞吐量通过 sharding...

  • 5.5MySQL高可扩展和高可用考点 - 草稿

    考官考点分区表的原理分库分表的原理延伸:MySQL的复制原理及负载均衡 工作原理对用户而言,分区表是一个独立的逻辑...

  • Linux学习-MySQL-week05

    MySQL高可用及读写分离 为什么要使用高可用 ? 什么是高可用?企业高可用标准:全年无故障时间无故障时间 ...

  • InnoDB存储引擎

    1、InnoDB概述 InnoDB是一个高性能、高可用、高可扩展,是MySQL 第一个完整支持ACID事务的存...

  • 艾瑞架构师黄埔班-2019.12.21

    MySQL数据库高可用HA实现 1 什么是高可用集群?N就是集群,1就是高可用,高可用的核心就是冗余,集群是保证服...

  • MYSQL-高拓展和高可用

    1.分区表的原理 工作原理 1.对用户而言,分区表是一个独立的逻辑表,但是底层 MYSQL将其分成了多个物理子表,...

  • ONOS系统架构之高可用实现方案的演进

    上篇文章《ONOS高可用性和可扩展性实现初探》讲到了ONOS系统架构在高可用、可扩展方面技术概况,提到了系统在分布...

  • mysql高可用

网友评论

      本文标题:face20 mysql高扩展和高可用

      本文链接:https://www.haomeiwen.com/subject/fwoxfqtx.html