分库分表数据源不支持ON DUPLICATE KEY UPDATE写法

读写分离数据源测试支持

ISSUE：
https://github.com/apache/shardingsphere/issues/8375

SQL：

2021-03-17 15:25:28,673 [http-bio-8080-exec-24] INFO  ShardingSphere-SQL - Actual SQL: ds_master ::: INSERT INTO face_recognition_course (user_id,staff_task_id,success_times,success_img_url,success_time,fail_times,fail_img_url,fail_time,tenant_id,create_time,create_by,update_time,update_by) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) ON DUPLICATE KEY UPDATE success_times = success_times + ?, success_img_url = ?, success_time = ?, update_time = ?, update_by = ? ::: [833682, 129571027, 1, url, 2021-03-17 15:17:36.0, 0, , null, 139, 2021-03-17 15:25:28.673, 833682, 2021-03-17 15:25:28.673, 833682]
替换参数列表只有13个  ON DUPLICATE KEY UPDATE 后面的参数没有进行参数替换

### SQL: INSERT INTO face_recognition_course (user_id,staff_task_id,success_times,success_img_url,success_time,fail_times,fail_img_url,fail_time,tenant_id,create_time,create_by,update_time,update_by) VALUES (?, ?, ?, ?, ?,?, ?, ?, ?,?, ?, ?, ?) ON DUPLICATE KEY UPDATE success_times = success_times + ?, success_img_url = ?, success_time = ?, update_time = ?, update_by = ?
### Cause: java.sql.SQLException: No value specified for parameter 14
; bad SQL grammar []; nested exception is java.sql.SQLException: No value specified for parameter 14

改造方式：
1、手动拼接ON DUPLICATE KEY UPDATE后面的参数
2、修改业务逻辑：拆分为插入和更新两个语句

插入数据后无法返回主键

ISSUE：
https://github.com/apache/shardingsphere/issues/7922

改造：
新增非分表数据源，采用此数据源处理此类需求

HintManager在同一线程中无法重复获取

其实也不算BUG，只是目前版本作者设计如此

源码：

 /**
     * Get a new instance for {@code HintManager}.
     *
     * @return  {@code HintManager} instance
     */
    public static HintManager getInstance() {
        Preconditions.checkState(null == HINT_MANAGER_HOLDER.get(), "Hint has previous value, please clear first.");
        HintManager result = new HintManager();
        HINT_MANAGER_HOLDER.set(result);
        return result;
    }

ISSUE：
https://github.com/apache/shardingsphere/issues/6342

问题场景：
1、读写分离场景：采用切面利用HintManager对某些方法设置强制使用主库；分库分表场景：采用切面利用HintManager对某些方法强制设置分片键；假如两个场景重合，即会出现重复获取HintManager的情况
2、@SelectKey在插入时候查询插入主键，假如针对DAO方法设置mybatis拦截器来强制设置分片键即会有此问题，因为插入方法还未执行完毕，HintManager还未关闭

改造：
新增HintManagerHolder保存HintManager的线程变量，由于强制使用主库（针对Service方法）的切面一般会比强制设置分片键（针对DAO方法粒度较细）优先执行，因此首次获取时可先共享HintManager，分库分表先从HintManagerHolder获取，获取不到时再获取一个新的HintManager

package com.netdragon.db.sharding.hint;

import org.apache.shardingsphere.api.hint.HintManager;

/**
 * 保存线程共享的HintManager：解决HintManager无法重复getInstance问题，
 * https://github.com/apache/shardingsphere/issues/6342
 *
 * @Date 2021/3/3
 **/
public class HintManagerHolder {

    private static final ThreadLocal<HintManager> HINT_MANAGER_HOLDER = new ThreadLocal<>();

    /**
     * 分表插件调用此方法判断是否已有HintManager
     *
     * @return
     */
    public static HintManager getInstance() {
        return HINT_MANAGER_HOLDER.get();
    }

    /**
     * 读写分离处理器获取HintManager时调用此方法共享HintManager
     *
     * @param hintManager
     */
    public static void setInstance(HintManager hintManager) {
        HINT_MANAGER_HOLDER.set(hintManager);
    }

    /**
     * 原有HintManager.clear()方法改为调用此方法
     */
    public static void clear() {
        HintManager.clear();
        HINT_MANAGER_HOLDER.remove();
    }
}

读写分离数据源解析in（大量数据）时过慢，频繁导致接口超时

背景：
线上某个列表接口频繁调用超时，微服务间配置的超时时间为10s，直接找出SQL去数据库无论是主库还是从库执行都只要1s时间，因此排除从库查询缓慢问题，只能从代码出发。PRE环境关闭读写分离功能后，刷新几百次列表界面也没再出现超时问题，因此可以判断是sharding框架带来的问题
另外还有批量插入insert into values大约两千条数据的时候也会存在同样的超时问题

在开启读写分离的情况下，将SQL放到本地执行，通过断点发现源码中执行缓慢的方法为如下解析过程：
org.apache.shardingsphere.sql.parser.core.parser.SQLParserEngine#parse

ISSUE：
https://github.com/apache/shardingsphere/issues/5209
作者的建议的优化SQL，不会处理

问题场景：
目前发现的场景的主要是in（大量数据），大概是下面这种情况，几十万个ID在in中，项目中代码就是这样，也不敢改

image.png

解决：
项目中另外创建一个普通的数据源（可以是从库），用以执行这些in（大量数据）的接口

注：com.github.pagehelper.PageHelper其中的count语句解析同样存在解析缓慢问题