美文网首页seo
ygbook小说站快速自动采集

ygbook小说站快速自动采集

作者: 老胡聊聊天 | 来源:发表于2020-09-16 23:54 被阅读0次

ygbook的系统搭建完成后,在采集设置中,点击批量采集新书,就可以开始采集了。
默认最多采集1000次,也可以通过修改url中数字的方式来实现更多次:

小说站后台采集,点击放大


https://www.example.com/index.php?s=/Admin/Index/pick/action/runpick/nownum/1/maxnum/10.html
修改为
https://www.example.com/index.php?s=/Admin/Index/pick/action/runpick/nownum/1/maxnum/99999.html

但是他采集开始之后,还是跟小水管一样,很慢很慢,采集了大半天才几千篇。

emmm,上python吧,模拟登陆然后循环调用ygbook的采集界面或者接口进行采集,大致的代码如下:

1、模拟登陆

模拟登陆

2、模拟提交

下面这两种都可以,第一种是请求页面,第二种是请求api,显然api更好更快

页面提交 利用api提交(更快)

3、开启多线程

开启多线程

4、记录采集日志

采集的同时计算采集效率、记录采集日志,这样就可以大概知道每种源的效率,例如下图,我采集了4个源,相同时间下,其中3个都采集了3000次,有一个只采集了1600次,明显效率太低,可以考虑放弃。


记录采集日志

总结

好了,这就是本文的全部内容了,有兴趣一起学习建站和seo的可以加我一起学习啦,你说联系方式?聪明如你一定可以找到~

相关文章

网友评论

    本文标题:ygbook小说站快速自动采集

    本文链接:https://www.haomeiwen.com/subject/rfekyktx.html