单库分表-ShardingSphere

作者: 久伴我还是酒伴我 | 来源:发表于2021-01-27 17:23 被阅读0次

单库分表-ShardingSphere
总结Mysql数据库：分表、分库
分布式数据库架构--分库、分表、排序、分页、分组、实现
MySQL分库分表浅谈
Mysql的分库分表，水平拆分-垂直拆分
mysql使用存储过程进行简单数据迁移
分库分表-ShardingSphere
分库分表架构和框架综述
shardingsphere的分表、分库的yml和config配
分库分表

简介

Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar,这 3 款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，目前，数据分片、读写分离、数据加密、影子库压测等功能，以及 MySQL、PostgreSQL、SQLServer、Oracle 等 SQL 与协议的支持，均通过插件的方式织入项目，ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目。

背景

公司项目随着业务数据不断增多，单表数量达到五百W以上，查询新增速度不断变慢，严重影响客户使用，分库分表势在必行，大概看了下相关的技术，果断选择了ShardingJDBC（使用人多，稳定成熟，加Apache加持），本文主要围绕ShardingSphere 做单库分表，简单介绍下ShardingSphere。

公司先做的分表，后来数据增多，存储磁盘满足不了单个数据库的大小，后来才做的分库，所以可以结合着自己的实际业务去做考虑是否做需要做分库，如果分表已经能满足自己的三年内的业务需求，可以不做分库操作，直接分表即可，本文主要围绕单库分表进行讲述，如想了解分库分表，可参考 https://www.jianshu.com/p/2e8bafd888d0

分片场景

策略	表名称	分片字段	表数量
某字段分表	sh_in_conf	task_id	6
某字段分表	sh_in_log	company_id	4
通用默认某字段分表	sh_in_toll	biz_id	2
不分表	sh_in_info	无	1

库结构

ds0库

Pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.1.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.sharding.test</groupId>
    <artifactId>sharding-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>sharding-demo</name>
    <description>分库分表Demo</description>

    <properties>
        <java.version>1.8</java.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <sharding.jdbc.version>4.0.0</sharding.jdbc.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>

        <dependency>
            <groupId>com.github.ulisesbocchio</groupId>
            <artifactId>jasypt-spring-boot-starter</artifactId>
            <version>1.16</version>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.74</version>
        </dependency>

        <!-- 与swagger一起使用,需要注意-->
        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-swagger2</artifactId>
            <version>2.8.0</version>
        </dependency>
        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-swagger-ui</artifactId>
            <version>2.8.0</version>
        </dependency>

        <!--mybatis plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.3.0</version>
        </dependency>
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-generator</artifactId>
            <version>3.3.0</version>
        </dependency>

        <dependency>
            <groupId>org.freemarker</groupId>
            <artifactId>freemarker</artifactId>
            <version>2.3.29</version>
        </dependency>

        <!--前端-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>

        <!-- hutool 工具包-->
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>4.6.1</version>
        </dependency>

        <!-- lang包-->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.4</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

分片算法测试

 public static void main(String[] args) {
        //分表表数量
        Integer table_num = 4;
        //分库数量
        Integer ds_num = 2;
        //分片内容
        String content = "a1922929222a1";
        Integer table = HashUtil.fnvHash(content) % table_num;
        Integer data = HashUtil.fnvHash(content) % ds_num;
        System.out.println("存入表："+table);
        System.out.println("存入库："+data);
    }

application.properties

server.port=8080
spring.application.name=sharding-demo
swagger2.enable=true
spring.profiles.active=sharding

##单数据库
spring.shardingsphere.datasource.names=ds0
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://172.21.16.52:3306/release_degree?characterEncoding=UTF-8&serverTimezone=UTC
spring.shardingsphere.datasource.ds0.username=dev
spring.shardingsphere.datasource.ds0.password=21758E78331B20E4
spring.shardingsphere.datasource.ds0.maximum-pool-size=64
spring.shardingsphere.datasource.ds0.connection-timeout=30000
spring.shardingsphere.datasource.ds0.max-lifetime=1200000
spring.shardingsphere.datasource.ds0.connection-test-query=SELECT 'X'
spring.shardingsphere.datasource.ds0.minimum-idle=10


##是否打印SQL
spring.shardingsphere.props.sql.show=true

application-sharding.properties

#分表时使用
# 默认数据库
spring.shardingsphere.sharding.default-data-source-name=ds0
###################################################### sub table rules ######################################################
#根据某字段进行分片
#根据biz_id分片
spring.shardingsphere.sharding.tables.sh_in_conf.actual-data-nodes=ds0.sh_in_conf_$->{0..5}
spring.shardingsphere.sharding.tables.sh_in_conf.table-strategy.standard.sharding-column=task_id
spring.shardingsphere.sharding.tables.sh_in_conf.table-strategy.standard.precise-algorithm-class-name=com.sharding.test.sharding.OtherPreciseShardingAlgorithm

#根据company_id分片
spring.shardingsphere.sharding.tables.sh_in_log.actual-data-nodes=ds0.sh_in_log_$->{0..3}
spring.shardingsphere.sharding.tables.sh_in_log.table-strategy.standard.sharding-column=company_id
spring.shardingsphere.sharding.tables.sh_in_log.table-strategy.standard.precise-algorithm-class-name=com.sharding.test.sharding.OtherPreciseShardingAlgorithm

#默认分片策略
spring.shardingsphere.sharding.tables.sh_in_toll.actual-data-nodes=ds0.sh_in_toll_$->{0..1}
#用于单分片键的标准分片场景
spring.shardingsphere.sharding.default-table-strategy.standard.sharding-column=biz_id
spring.shardingsphere.sharding.default-table-strategy.standard.precise-algorithm-class-name=com.sharding.test.sharding.DefaultPreciseShardingAlgorithm
#绑定表规则列表 涉及到关联查询的同分片规则的绑定
spring.shardingsphere.sharding.binding-tables=sh_in_toll

自定义分片类

package com.sharding.test.sharding;

import cn.hutool.core.util.HashUtil;
import org.apache.commons.lang3.ArrayUtils;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;

import java.util.Collection;

/**
 * @author leijie.gao
 * @since 2020-05-27
 */
public class DefaultPreciseShardingAlgorithm implements PreciseShardingAlgorithm<String> {

  /**
   * @param targetTableNames sharding 逻辑表 分表规则
   * @param shardingVal      PreciseShardingValue(logicTableName=真实表, columnName=company_id, value=company_id_value)
   * @return {{@link String}}
   */
  @Override
  public String doSharding(Collection<String> targetTableNames, PreciseShardingValue<String> shardingVal) {
    final String[] tables = targetTableNames.toArray(new String[targetTableNames.size()]);
    return ArrayUtils.isEmpty(tables) ? tables[0] : tables[HashUtil.fnvHash(shardingVal.getValue()) % targetTableNames.size()];
  }
}

结束语

每张表可以按照不同的分片策略，保存或者更新查询操作时，必须带着分片策略的条件。
建表时,建议为偶数表,方便分库时，为数据迁移做准备，后期分库时，只需要在偶数库中保留偶数表数据，奇数库中保留奇数表数据

5.代码地址 https://gitee.com/G_YutianMusi/sharding-demo.git

测试

录入

数据库

单库分表-ShardingSphere
简介 Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDB...
总结Mysql数据库：分表、分库
1.演化过程单库单表--->单库多表 || 多库单表--->多库多表 2.何时分表？何时分库？分表：解决单张表...
分布式数据库架构--分库、分表、排序、分页、分组、实现
MySQL分库分表总结：单库单表：单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db...
MySQL分库分表浅谈
一、分库分表类型 1、单库单表所有数据都放在一个库，一张表。 2、单库多表数据在一个库，单表水平切分多张表。 ...
Mysql的分库分表，水平拆分-垂直拆分
参考文章MySQL分库分表总结参考数据库分库分表策略，如何分库，如何分表？MySQL分库分表原理 MySQL单库数...
mysql使用存储过程进行简单数据迁移
1. 单库主键范围分表-数据分片新建存储过程执行存储过程删除存储过程 2. 单库分表建表新建存储过程执行...
分库分表-ShardingSphere
简介 Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDB...
分库分表架构和框架综述
业务发展的三个阶段单库多表-->单库多表的复合-->多库多表。经验数据书，单表数量过千万，开始考虑分库分表，my...
shardingsphere的分表、分库的yml和config配
基础环境项目是基于springboot + mybatis + shardingsphere pom 分表不分库...
分库分表
数据库分表可以解决单表海量数据的查询性能问题，分库可以解决单台数据库的并发访问压力问题。分库分表目前有很多的中间...