Excel有40多万的数据调用第三方接口,单线程调用要3秒钟才能搞定一条数据
简单算一下 需要333小时,要跑10多天才能跑完.
这个时候就写一个main方法 单线程读取 Excel ,多线程去调用第三方接口
随着线程池数量的加多,分析出一个 时间 最少的线程数(我测试是50个线程)
然后申请4台机器,把 Excel 分割为 4份,每份10万的数据
调用的结果存储在mongodb 中, 4台机器 每分钟可以调用 235条数据左右
最后27小时左右完成,领导也能接受这个时间.
最后有朋友讨论,把数据导入db中,然后分批根据数量来多台机器运行,也不是不可以,要这样,我还不如导入redis 的 多个list中,更快速
要说一下,如果不能接受,就需要把调用第三方的服务配置提升,继续压测,达到单台相对较少的时间,再去加机器
最后 这个问题还有一个坑,如果第三方接口,有限制并发数,那可能线程数就不能太大,时间也会更长!
Excel有40多万的数据调用第三方接口,单线程调用要3秒钟才能搞定一条数据 简单算一下 需要333小时,要跑10...
调用 股票接口 官方接口不是什么人都可以调用的。那调用什么鬼？第三方接口，不建议调用，不方便测试时用，而且估计还...
基础知识 Call是一个底层的接口，用来向第三方合约发送消息以此完成第三方合约中内部函数的调用，调用的方式大致如下...
1.现象 观察接口调用耗时，偶尔会出现一笔调用耗时相对较长:超过2s，且都是发送mq的耗时。或偶尔会出现send...
业务开发中，有很多场景会有比较耗时的操作比如需要调用第三方接口查询数据、发邮件等都有可能需要1秒以上的时间如果按照...
业务：本系统接口都是http的，调用第三方接口，因为做了安全性校验，所以不能通过RestTemplate调用 方法...
背景： 在项目开发中，会有调用第三方接口的场景。当开发时，对方不愿意提供测试服务器给我们调用，或者有的接口会按调用...
含义：接口可重复调用后，在调用方多次调用的情况下，接口最终得到的结果是一致的。 有些接口天然具备幂等性，如查询接口...
当我们在调用某些耗时的方法，比如发起第三方调用时而不关心他的返回值，可以采用@Async来实现异步调用。极大的提升...
react-native 实现全局loading 调用 在调用网络接口或者做一些耗时操作的时候，会展示一个load...
本文标题：第三方接口调用耗时,如何在规定的时间调用完成
本文链接：https://www.haomeiwen.com/subject/qqblvxtx.html
网友评论