MySQL分库分表

作者: 多彩海洋 | 来源:发表于2019-07-04 16:10 被阅读0次

    1 分库分表之MyCat实现

    1.1 分库分表介绍

    前提:当你们的数据库表数据特别大时,比如说上亿的记录,数据库本身的优化基本上无法解决性能问题了,根本原因是数据库本身的io读写到了一个瓶颈,这个时候,需要海量数据的存储和查询问题。此时我们需要利用分库分表的思想去进行数据库的架构优化。

    随着微服务这种架构的兴起,我们应用从一个完整的大的应用,切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。

    image.png

    数据的切分分为两种:

    l 垂直切分:按照业务模块进行切分,将不同模块的表切分到不同的数据库中。

    l 水平切分:**将一张大表按照一定的切分规则,按照行切分到不同的表或者不同的库中。

    1.2 MyCAT介绍

    1.2.1 什么是MyCAT?

    官方网站:<u>http://www.mycat.org.cn/</u>

    简单的说,MyCAT就是:

    ·一个彻底开源的,面向企业应用开发的“大数据库集群”

    ·支持事务、ACID、可以替代Mysql的加强版数据库

    ·一个可以视为“Mysql”集群的企业级数据库,用来替代昂贵的Oracle集群

    ·一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server

    ·结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

    ·一个新颖的数据库中间件产品

    MyCAT的目标是:低成本的将现有的单机数据库和应用平滑迁移到“云”端,解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。

    1.2.2 MyCAT的关键特性

    ·支持 SQL 92标准

    ·支持Mysql集群,可以作为Proxy使用

    ·支持JDBC连接ORACLE、DB2、SQL Server,将其模拟为MySQL Server使用

    ·支持galera for mysql集群,percona-cluster或者mariadb cluster,提供高可用性数据分片集群

    ·自动故障切换,高可用性

    ·支持读写分离,支持Mysql双主多从,以及一主多从的模式

    ·支持全局表,数据自动分片到多个节点,用于高效表关联查询

    ·支持独有的基于E-R 关系的分片策略,实现了高效的表关联查询

    ·多平台支持,部署和实施简单

    1.2.3 MyCAT架构

    image.png image.png

    1.2.4 核心概念

    l Schema:由它指定逻辑数据库

    l Table:逻辑表

    l DataNode:真正存储节点

    l DataHost:真正的数据库主机

    如图所示:MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器,并建立了完整的Schema(数据库)、Table (数据表)、User(用户)的逻辑模型,并将这套逻辑模型映射到后端的存储节点DataNode(MySQL Instance)上的真实物理库中,这样一来,所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用,不必开发新的客户端协议。

    1.2.5 Mycat存在的问题

    l 跨库join问题

    • 通过业务分析,将不同库的join查询拆分成多个select

    • 建立全局表(每个库都有一个相同的表)

    • 冗余字段(不符合数据库三范式)

    • E-R分片(将有关系的记录都存储到一个库中)

    • 最多支持跨两张表跨库的join

    l 分布式事务(弱事务)

    • 强一致性事务(同步)

    • 最终一致性事务(异步思想)

    l 分布式主键

    redis incr命令

    • 数据库(生成主键)

    • UUID

    snowflake算法

    1.3 Mycat解决的问题

    l 海量数据存储

    l 查询优化

    image.png

    1.3.1 Mycat对多数据库的支持

    image.png

    1.4 分片策略

    MyCAT支持水平分片与垂直分片:

    ·水平分片:一个表格的数据分割到多个节点上,按照行分隔。

    ·垂直分片:一个数据库中多个表格A,B,C,A存储到节点1上,B存储到节点2上,C存储到节点3上。

    image.png

    MyCAT通过定义表的分片规则来实现分片,每个表格可以捆绑一个分片规则,每个分片规则指定一个分片字段并绑定一个函数,来实现动态分片算法。

    1、Schema:逻辑库,与MySQL中的Database(数据库)对应,一个逻辑库中定义了所包括的Table。

    2、Table:表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。

    3、DataNode:MyCAT的逻辑数据节点,是存放table的具体物理节点,也称之为分片节点,通过DataSource来关联到后端某个具体数据库上

    4、DataSource:定义某个物理库的访问地址,用于捆绑到Datanode上

    1.5 Mycat的下载及安装

    1.5.1 下载mycat

    github地址:<u>https://github.com/MyCATApache</u>

    1.5.2 Mycat安装

    安装rz上传文件工具

    yum install -y lrzsz

    第一步:把MyCat的压缩包上传到linux服务器

    第二步:解压缩,得到mycat目录

    tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

    第三步:进入mycat/bin,启动MyCat

    启动命令:./mycat start

    停止命令:./mycat stop

    重启命令:./mycat restart

    注意:可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066

    相关文章

      网友评论

        本文标题:MySQL分库分表

        本文链接:https://www.haomeiwen.com/subject/idjrhctx.html