使用MyBatis批量插入数据

作者: 跳动的字符 | 来源:发表于2018-03-23 15:50 被阅读282次

     最近工作中要用到批量插入,由于插入的数据量很大,采用foreach直接拼接SQL时,由于数据量大,拼接的SQL超过mybatis的限制后,造成异常导致插入失败,经过网上搜索一番,发现零零散散的不完整,都无法使用,后来经过自己整理后,终于成功了。分享如下,以便以后查询。

    mapper代码片段:

      <insert id="insertBatch" parameterType="java.util.List">
          insert into ics.DAY_REPORT_PROJECT (PID, REPORTDATE, PROJECTID, PROJECTAMT, BIDTIME, BIDURL, TRANSFERSTATUS,LIMITTYPE, PROJECTLIMIT, BIDRATE, VALUEDATE, REPAYTYPE, ASSURETYPE, CREATETIME)
             select ics.SEQ_report_project_PID.Nextval, a.* from (
               <foreach collection="list" item="item" index="index" separator="union all" >  
                  select #{item.reportDate}, #{item.projectId}, #{item.projectAmt}, #{item.bidTime}, #{item.bidUrl}, #{item.transferStatus},#{item.limitType}, #{item.projectLimit}, #{item.bidRate}, #{item.valueDate}, #{item.repayType}, #{item.assureType}, #{item.createTime}
                  from dual
               </foreach>
              ) a
       </insert>
    

    dao代码片段:

        /**
         * 批量插入项目信息
         * 
         * @param reportProjects
         * @throws Exception
         */
        public void insert(List<DayReportProject> reportProjects) throws Exception {
            int result = 1;
            SqlSession batchSqlSession = null;
            try {
                batchSqlSession = this.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
                // 获取批量方式的sqlsession
                int batchCount = 1000; // 每批commit的个数
                int batchLastIndex = batchCount; // 每批最后一个的下标
                for (int index = 0; index < reportProjects.size();) {
                    if (batchLastIndex >= reportProjects.size()) {
                        batchLastIndex = reportProjects.size();
                        result = result * batchSqlSession.insert("cn.hepai.model.DayReportProject.insertBatch", reportProjects.subList(index, batchLastIndex));
                        batchSqlSession.commit();
                        batchSqlSession.clearCache(); // 清理缓存,防止溢出
                        log.info("index : " + index + ", batchLastIndex : " + batchLastIndex + ", 共插入项目信息 : " + (batchLastIndex + 1) + "条");
                        break; // 数据插入完毕,退出循环
                    } else {
                        result = result * batchSqlSession.insert("cn.hepai.model.DayReportProject.insertBatch", reportProjects.subList(index, batchLastIndex));
                        batchSqlSession.commit();
                        batchSqlSession.clearCache();
                        log.info("index : " + index + ", batchLastIndex : " + batchLastIndex + ", 共插入项目信息 : " + (batchLastIndex + 1) + "条");
                        index = batchLastIndex; // 设置下一批下标
                        batchLastIndex = index + (batchCount - 1);
                    }
                }
            } catch (Exception e) {
                log.error(e.getMessage(), e);
                batchSqlSession.rollback();
            } finally {
                batchSqlSession.close();
            }
        }
    

    经测试,执行速度很快,已上线且运行平稳。

    相关文章

      网友评论

      本文标题:使用MyBatis批量插入数据

      本文链接:https://www.haomeiwen.com/subject/pydxcftx.html