美文网首页程序猿阵线联盟-汇总各类技术干货
SAAS软件架构——数据层架构实践

SAAS软件架构——数据层架构实践

作者: 大力水手SX | 来源:发表于2017-09-04 20:39 被阅读487次

    1. 多租户数据架构三种模式:

    ①独立数据库
    ②共享数据库、独立 Schema
    ③共享数据库、共享 Schema、共享数据表
    由于本篇属于实践篇,三种模式的优缺点就不多赘述,需要详细了解的小伙伴可以戳(SaaS多租户数据隔离的三种方案)。
    本篇选用的是模式②,也是企业级SAAS常规的选择。

    2. 为什么选择共享数据库实例,独立Schema

    1. 租户间数据彼此独立,应用程序的实现比较简单。
    2. 充分利用系统资源,可扩展性比较好。
      缺点:备份恢复稍微有点复杂。

    3. 使用Spring + Mybatis实现动态数据源切换

    应用需要解决的核心问题就是租户识别,独立Schema架构在应用层表现为每一个租户都有一个自己的数据源,因此需要首先解决动态数据源切换问题。

    3.1 AbstractRoutingDataSource

    该类是Spring提供的动态路由数据源的抽象类,通过继承重写该类的determineCurrentLookupKey方法可以实现数据源的动态切换。
    通过分析AbstractRoutingDataSource如下源码可以知道,首先通过determineTargetDataSource来确定当前数据的key(lookupKey),然后从resolvedDataSources中获取数据源对象,所以重写determineCurrentLookupKey返回当前数据源key即可以实现数据源动态切换。

    protected DataSource determineTargetDataSource() {
        Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");  Object lookupKey = determineCurrentLookupKey();
        DataSource dataSource = this.resolvedDataSources.get(lookupKey);
        if (dataSource == null && (this.lenientFallback || lookupKey == null)) {
            dataSource = this.resolvedDefaultDataSource;
        }
        if (dataSource == null) {
            throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");
        }
        return dataSource;
    }
    protected abstract Object determineCurrentLookupKey();
    
    3.2 实现DynamicDataSource
    import com.alibaba.druid.pool.DruidDataSource;
    import lombok.Data;
    import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
    import java.util.HashMap;
    import java.util.Map;
    
    public class DynamicDataSource extends AbstractRoutingDataSource {
    
        //因为AbstractRoutingDataSource的targetDataSources属性没有提供get方法,为了动态维护数据源,需要_targetDataSources
        //然后通过setTargetDataSources方法更新targetDataSources
        //再调用afterPropertiesSet方法将targetDataSources更新到resolvedDataSources中
        private Map<Object, Object> _targetDataSources = new HashMap<Object,Object>();
    
        private static ThreadLocal<DataSourceEntity> dataSourceHolder = new ThreadLocal<>();
    
        private static String MYSQL_JDBC_URL = "jdbc:mysql://%s:3306/%s?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true";
    
        public DynamicDataSource(){
            //默认数据源可以在这里初始化,或者可以在xml配置文件中初始化,不然编译无法通过(因为我们配置的事务管理器要依赖数据源)
            super.setDefaultTargetDataSource(new DruidDataSource());
            super.setTargetDataSources(_targetDataSources);
        }
    
        @Override
        protected Object determineCurrentLookupKey() {
            DataSourceEntity dataSourceEntity = dataSourceHolder.get();
            String lookupKey = dataSourceEntity.getTenantId();//将tenantId作为key
            if (!_targetDataSources.containsKey(lookupKey)){
                addDataSource(dataSourceEntity);
            }
            return lookupKey;
        }
    
        /**
         * 新增数据源
         * @param dataSourceEntity
         */
        private void addDataSource(DataSourceEntity dataSourceEntity) {
            DruidDataSource dataSource = new DruidDataSource();
    
            dataSource.setUrl(String.format(MYSQL_JDBC_URL,dataSourceEntity.getSchemaIp(),dataSourceEntity.getSchemaName()));
            dataSource.setUsername(dataSourceEntity.getUsername());
            dataSource.setPassword(dataSourceEntity.getPassword());
            //......其他参数配置
            _targetDataSources.put(dataSourceEntity.getTalentId(),dataSource);
            //更新targetDataSources
            setTargetDataSources(_targetDataSources);
            //更新resolvedDataSources
            afterPropertiesSet();
        }
    
        /**
         * 设置当前线程数据源信息
         *  如果在请求中有异步任务,并且需要查询数据库,那么
         * @param dataSourceEntity
         */
        public static void setDataSource(DataSourceEntity dataSourceEntity){
            dataSourceHolder.set(dataSourceEntity);
        }
      
        @Data        //lombok的注解(可以自动生成getter与setter方法)
        public class DataSourceEntity{
            private String tenantId;//租户id
            private String schemaIp;//租户schemaIp
            private String schemaName;//schemaName
            private String username;//用户名
            private String password;//密码
        }
    }
    
    

    XML配置如下:

    <bean id="dynamicDataSource" class="com.sws.gss.db.DynamicDataSource" />
    <!-- 配置事务管理器 -->
    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <property name="dataSource" ref="dynamicDataSource" />
    </bean>
    
    <!-- mybatis相关配置 -->
    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">          
            <property name="dataSource" ref="dynamicDataSource" />
        <!-- 自动扫描entity目录, 省掉Configuration.xml里的手工配置 -->
        <property name="mapperLocations" value="classpath:mapping/*.xml" />
        <property name="configLocation" value="classpath:/config.xml" />
    </bean>
    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
        <property name="basePackage" value="com.sws.gss.mapper" />
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory" />
    </bean>
    <! -------其他相关配置 -------->
    

    4. 新租户的创建

    新租户创建有两种方案可以选择:
    ①预先创建多个租户空间,设置租户空间剩余数预警,租户注册进来直接入驻便可。
    ②实时创建租户空间,linux下可以通过执行shell脚本来创建,缺点是创建时耗时较长。

    5. 表结构同步

    每个租户都有自己的表结构,如果想要实现表结构的同步,传统的方式肯定是不可行的,我们可以通过运行sql文件的方式来同步表结构,外层包一个for循环遍历所有租户的数据源信息。可以使用ibatis提供的ScriptRunner来完成对sql文件的执行。核心代码如下:

        public static void runSqlScript(String jdbcUrl,String username,String pass){
            Connection connection = null;
            try{
                connection = DriverManager.getConnection(jdbcUrl,username,pass);
                Class.forName("com.mysql.jdbc.Driver");
                ScriptRunner runner = new ScriptRunner(connection);
                runner.setAutoCommit(false);
                runner.setSendFullScript(true);
                runner.runScript( Resources.getResourceAsReader("upgrade_sql.sql"));
            }catch (Exception ex){
            }finally {
                try {
                    if (connection != null){
                        connection.close();
                    }
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }
    注:jdbcUrl后面需要带allowMultiQueries=true参数,以支持多行执行
    

    相关文章

      网友评论

        本文标题:SAAS软件架构——数据层架构实践

        本文链接:https://www.haomeiwen.com/subject/xgnjrxtx.html