美文网首页
通过页面导入20w数据存进数据库中

通过页面导入20w数据存进数据库中

作者: 小丸子的程序梦 | 来源:发表于2021-07-14 18:49 被阅读0次

1.需求

需要在页面上新增一个策略,导入20w的userId,需要先通过用户表判断userId是否存在,然后再插入到策略用户关联表中。(策略表中好需要记录插入的有效的用户数量)

2.思路

1.打算通过csv文件导入20w的userId

2.先上传到服务器上  在从服务器上读

读取csv文件

3.先在策略表中新增一条数据,返回主键id(留着插入策略用户表中需要)

然后对读出来的20w数据进行分批次操作,2000条处理一次(用多线程处理CompletableFuture,需要返回值)

2000条处理一次

4.

CompletableFuture来处理

经过最后测试,

2000条数据  需要1.088s

20w条数据  需要9.168s

相关文章

网友评论

      本文标题:通过页面导入20w数据存进数据库中

      本文链接:https://www.haomeiwen.com/subject/wfaypltx.html