MySQL主从原理, 高可用架构与高性能架构

MySQL主从, 高可用架构与高性能架构

MySQL主从复制

需求: 以前单个服务器提供服务, 若突然坏了, 需要通过历史备份将数据备份至新服务器, 需要花很长时间, 损失较大

主从复制原理,: 基于二进制日志(binlog), 记录所有数据的变化 , 只要某个时间点主从库数据一致, 后面通过二进制日志实现同步

Mysql主从结构

方框介绍

binlog: 主库的二进制日志, 记录主库数据变化

master.info: 记录链接主库的用户名和密码 , 从库当前二进制日志的数据位置

relay-log.info: 上次运行过的二进制日志的数据位置

执行过程介绍:

1. I/O线程拿到master.info里面存的链接主库的用户名和密码与当前二进制日志的数据位置
2. I/O线程链接主库并询问主库是否有二进制日志的更新, 通过master.info里面的数据位置与主库的二进制比较
3. 主库通过dump线程读取二进制日志
4. 若有更新, 则将新数据通过dump线程发送给I/O线程
5. I/O线程将新数据写入TCP/IP缓存
6. I/O线程给dump线程返回ack表示收到
7. I/O线程将刚拿到的二进制文件的最新数据更新master.info里面存的数据位置, 用于下次再询问时的比较依据
8. TCP/IP缓存将数据写入relay-log(中继日志)
9. SQL线程读取上次执行过的二进制文件的位置,
10. 找到最新的日志文件并执行
11. 更新relay-log.info

可以通过中间件实现读写分离

中间件应该实现的功能:

1. 判断请求是读还是写, 写的请求发给主库, 读的请求发给从库, 实现读写分离
2. 监控, 若某台从库挂了, 不在给其发请求
3. 读请求的负载均衡

高可用架构

以上复制集有一个缺点, 当主库挂了, 主库里的最新数据可能没有及时同步到从库,造成数据丢失

比较好的分布式架构中间件有MHA , 淘宝基于MHA开发了TMHA, TDDL

这些中间件可以监控, 当主库挂了能实现以下功能

1. 选主: 选数据最新的一个从库为主库
2. 数据补偿: 需要将主库二进制日志文件独立出来, 单独放到一个数据库

mysql5.7的版本也有一个架构目前还不太成熟

mysql innodb cluster 组成如下:

MGR(实现多台服务器提供写的功能)+mysql router(实现读写分离)+mysql shell

mysql的中间件理念来自于MongoDB sharding cluster

高性能架构

分片集群

1. 将表分到不同的服务器

join不同服务器的两张表时, 在服务器之前挡一个中间件, 将mysql的sql层提到中间件中, 下面的服务器只需要提供表数据, join等sql操作由中间件完成

2. 将单表的数据行拆到不同库

比如一张表有90w行数据, 可以拆到三个服务器, 每个服务器放30w条

同样在服务器前挡一个中间件, 记录数据库的分片策略以及各节点的信息

各个节点只负责提供数据与存数据