一：数据库瓶颈
由于公司用户数据量持续增长，MySQL单库单表架构的性能问题就暴露出来了。影响数据库性能主要有以下几个因素：
1）数据量
MySQL单库数据量在5000万以内性能比较好,超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000w之间性能比较好,超过1000w性能也会下降。单表数据量太大，查询时扫描的行太多，SQL效率低。
2：数据库连接瓶颈（IO瓶颈）
第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 （ 分库和垂直分表）；
第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 （ 分库）。
二：分库分表方案
一般来说我们有四种方案进行分库分表：
1：水平分库
image.png
通常以某个字段为依据（userId或主键id），按照某种策略（hash、range等），将一个库中的数据拆分到多个库中。
表结构及数据分布：每个库的结构都一样，每个库的数据都不一样，没有交集，所有库的并集是全量数据；
使用场景：系统绝对并发量上来了，分表难以根本上解决问题，并且还没有明显的业务归属来垂直分库。
分析：库多了，io和cpu的压力自然可以成倍缓解。
2：水平分表
image.png
通常以某个字段为依据（userId或主键id），按照某种策略（hash、range等），将一个表中的数据拆分到多个表中。
表结构及数据分布：每个表的结构都一样，每个表的数据都不一样，没有交集，所有表的并集是全量数据。
使用场景：系统绝对并发量并没有上来，只是单表的数据量太多，影响了SQL效率，加重了CPU负担，以至于成为瓶颈。
分析：表的数据量少了，单次SQL执行效率高，自然减轻了CPU的负担。
3：垂直分库
image.png
通常以表为依据，按照业务归属不同，将不同的表拆分到不同的库中。
表结构及数据分布：每个库的结构都不一样，每个库的数据也不一样，没有交集，所有库的并集是全量数据。
使用场景：系统绝对并发量上来了，并且可以抽象出单独的业务模块。
分析：到这一步，基本上就可以服务化了。例如，随着业务的发展一些公用的配置表、字典表等越来越多，这时可以将这些表拆到单独的库中，甚至可以服务化。再有，随着业务的发展孵化出了一套业务模式，这时可以将相关的表拆到单独的库中，甚至可以服务化。
4：垂直分表
image.png
概念：以字段为依据，按照字段的活跃性，将表中字段拆到不同的表（主表和扩展表）中。
表结构及数据分布：每个表的结构都不一样，每个表的数据也不一样，一般来说，每个表的字段至少有一列交集，一般是主键，用于关联数据，所有表的并集是全量数据；
场景：系统绝对并发量并没有上来，表的记录并不多，但是字段多，并且热点数据和非热点数据在一起，单行数据所需的存储空间较大。以至于数据库缓存的数据行减少，查询时会去读磁盘数据产生大量的随机读IO，产生IO瓶颈。
分析：可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据（可能会冗余经常一起查询的数据）放在一起作为主表，非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来，进而减少了随机读IO。拆了之后，要想获得全部数据就需要关联两个表来取数据。但记住，千万别用join，因为join不仅会增加CPU负担并且会讲两个表耦合在一起（必须在一个数据库实例上）。关联数据，应该在业务Service层做文章，分别获取主表和扩展表数据然后用关联字段关联得到全部数据。
三：分库分表工具
1）sharding-jdbc；
2）Mycat；
根据容量（当前容量和增长量）评估分库或分表个数 -> 选key（均匀）-> 分表规则（hash或range等）-> 执行（一般双写）-> 扩容问题（尽量减少数据的移动）。
四：demo
项目结构如下：
image.png
实体信息：entity
package sharding.jdbc.jdbc.entity;
import java.io.Serializable;
public class User implements Serializable {
private static final long serialVersionUID = -1205226416664488559L;
private Long id;
private String city;
private String name;
public Long getId() {
return id;
}
public void setId(Long id) {
this.id = id;
}
public String getCity() {
return city;
}
public void setCity(String city) {
this.city = city;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
@Override
public String toString() {
return "User{" +
"id=" + id +
", city='" + city + '\'' +
", name='" + name + '\'' +
'}';
}
}
seivice层
package sharding.jdbc.jdbc.service;
import sharding.jdbc.jdbc.entity.User;
import java.util.List;
public interface UserService {
List<User> list();
Long add(User user);
User findById(Long id);
User findByName(String name);
seiviceImpl层
package sharding.jdbc.jdbc.service;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import sharding.jdbc.jdbc.dao.UserDao;
import sharding.jdbc.jdbc.entity.User;
import java.util.List;
@Service
public class UserServiceImpl implements UserService{
@Autowired
private UserDao userDao;
@Override
public List<User> list() {
return userDao.list();
}
@Override
public Long add(User user) {
return userDao.addUser(user);
}
@Override
public User findById(Long id) {
return userDao.findById(id);
}
@Override
public User findByName(String name) {
return userDao.findByName(name);
}
}
dao层
package sharding.jdbc.jdbc.dao;
import org.apache.ibatis.annotations.Mapper;
import sharding.jdbc.jdbc.entity.User;
import java.util.List;
@Mapper
public interface UserDao {
Long addUser(User user);
User findById(Long id);
List<User> list();
User findByName(String name);
}
application.properties
server.port=8080
mybatis.mapper-locations=classpath:mapper/*.xml
mybatis.configuration.map-underscore-to-camel-case=true
#spring.shardingsphere.datasource.names=master
# 数据源
#spring.shardingsphere.datasource.master.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.master.url=jdbc:mysql://10.91.237.60:3306/yangnima?characterEncoding=utf-8
##spring.shardingsphere.datasource.master.username=root
#spring.shardingsphere.datasource.master.password=Pass1234
# 分表配置
#spring.shardingsphere.sharding.tables.user.actual-data-nodes=master.user_${0..3}
# inline 表达式
#spring.shardingsphere.sharding.tables.user.table-strategy.inline.sharding-column=id
#spring.shardingsphere.sharding.tables.user.table-strategy.inline.algorithm-expression=user_${id.longValue() % 4}
spring.shardingsphere.datasource.names=ds0,ds1
# 数据源
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://*.*.*.60:3306/yangnima?characterEncoding=utf-8
spring.shardingsphere.datasource.ds0.username=*****
spring.shardingsphere.datasource.ds0.password=*****
spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://*.*.*.60:3306/yangnima_01?characterEncoding=utf-8
spring.shardingsphere.datasource.ds1.username=****
spring.shardingsphere.datasource.ds1.password=****
# 分表配置
spring.shardingsphere.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..2}
spring.shardingsphere.sharding.tables.user.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{id % 3}
spring.shardingsphere.sharding.tables.user.key-generator.column=id
spring.shardingsphere.sharding.tables.user.key-generator.type=SNOWFLAKE
# 分库配置
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2}
pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.9.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>sharding.jdbc</groupId>
<artifactId>jdbc</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>jdbc</name>
<description>Demo project for Spring Boot</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.0.1</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid-spring-boot-starter</artifactId>
<version>1.1.16</version>
</dependency>
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.0.0-RC1</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
测试
package sharding.jdbc.jdbc;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
import sharding.jdbc.jdbc.entity.User;
import sharding.jdbc.jdbc.service.UserService;
@RunWith(SpringRunner.class)
@SpringBootTest
public class JdbcApplicationTests {
@Autowired
private UserService userService;
@Test
public void contextLoads() {
}
@Test
public void addUser() {
for (long i = 0; i < 100; i++) {
User user = new User();
user.setId(i);
user.setCity("上海"+i);
user.setName("杨尼玛"+i);
userService.add(user);
}
}
@Test
public void findUserById() {
System.out.println(userService.findById(Long.valueOf(1)));;
}
}
sql语句
CREATE TABLE `user_2` (
`id` bigint(64) NOT NULL,
`city` varchar(20) NOT NULL,
`name` varchar(20) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
测试通过
image.png
image.png
image.png
网友评论