美文网首页
使用FOR循环查询数据的性能试验

使用FOR循环查询数据的性能试验

作者: 51344b645c49 | 来源:发表于2016-07-18 10:23 被阅读1528次

    看过好多文章,写过好多代码,好多人都说不要在for循环里去写查询效率很低,后来也查了一些资料,确实,来来回回发起很多次的连接、查询、很浪费时间,但是从来不知道究竟有多大的差距,于是乎突发奇想做了一个小小的实验,看看差距....

    不喜勿喷...

    实验场景

    1、数据库阿里云(单核、1G、1M带宽)自建mysql。

    2、请求发起为本地。

    3、数据库表trade_record_0中有300W数据,数据ID最小为3,最大为60000000。

    4、随机生成0-6000000之间的数据,分别使用for循环单个获取,和使用sql语句中的in方法进行获取

    可能出现的消耗

    1、网络请求耗时

    2、数据库QPS量

    3、数据库IO读取速度

    实验代码

    实验结果

    随机生成100个ID进行查询

    第一次:

    program for get  ::: cost time:4808  get :45

    sql in get  :::cost time:41  get :45

    第二次:

    program for get  ::: cost time:4774  get :51

    sql in get  :::cost time:38  get :51

    第三次:

    program for get  ::: cost time:4612  get :53

    sql in get  :::cost time:45  get :53

    第四次:

    program for get  ::: cost time:4964  get :59

    sql in get  :::cost time:202  get :59

    第五次:

    program for get  ::: cost time:3943  get :58

    sql in get  :::cost time:77  get :58

    随机生成1000个ID进行查询

    第一次:

    program for get  ::: cost time:47545  get :516

    sql in get  :::cost time:209  get :516

    第二次:

    program for get  ::: cost time:36683  get :473

    sql in get  :::cost time:202  get :473

    第三次:

    program for get  ::: cost time:36034  get :514

    sql in get  :::cost time:407  get :514

    第四次:

    program for get  ::: cost time:34960  get :478

    sql in get  :::cost time:298  get :478

    第五次:

    program for get  ::: cost time:32676  get :509

    sql in get  :::cost time:167  get :509

    随机生成10000个ID进行查询

    第一次,也是唯一一次,一次查询耗时太长,没有耐心了,看看差别就知道了

    program for get  ::: cost time:255325  get :4991

    sql in get  :::cost time:1537  get :4991

    结论

    1、从实验的结果上来看,100条以内使用sql in批量和使用for单个查询去查询数据耗时长度相差了大概是100倍左右,1000条以内的耗时相差了100-200倍,而在10000条数据上,相差了多少,我也不知道了。

    2、为何会出现这样的情况?举个例子:要你去拿一百个苹果,你是一次拿一个,跑一百次。还是一次拿完一百个再回来?

    3、sql中关于in关键字的效率和性能问题,记得之前有人跟我说过,数据量小的情况下,in没什么影响,但是在数据量大的情况下会很很低效,我也不太清楚,但是我觉得这样的问题都是相对的,有的时候in会低效,但是有的时候为了满足某些需求,这种情况也是可取的,或者其实还有很多其他的解决方案(例如:cache),所以还是那句话,问题都是相对的。

    4、还有个关键字叫做exist。

    相关文章

      网友评论

          本文标题:使用FOR循环查询数据的性能试验

          本文链接:https://www.haomeiwen.com/subject/orhzhttx.html