美文网首页
python 采集模块

python 采集模块

作者: longseoblog | 来源:发表于2020-02-01 16:27 被阅读0次

下面的python 采集模块,我都尝试过,分享下自己的体验:

1 urllib,urllib2模块:采集单页面,或者数据量不大的数据。

2 requests模块:调用模式和相关模块比较简单,功能比较强大,适合模块调用。

3 scrapy框架:适合大量数据采集,结构化存储等,非常合适采集大量数据。

下面其他采集模块本人还没开始试用,下一步可以根据需要用上。

cola

demiurge

feedparser

grab

MechanicalSoup

portia

pyspider

robobrowser

相关文章

网友评论

      本文标题:python 采集模块

      本文链接:https://www.haomeiwen.com/subject/ktlxxhtx.html