下面的python 采集模块,我都尝试过,分享下自己的体验:
1 urllib,urllib2模块:采集单页面,或者数据量不大的数据。
2 requests模块:调用模式和相关模块比较简单,功能比较强大,适合模块调用。
3 scrapy框架:适合大量数据采集,结构化存储等,非常合适采集大量数据。
下面其他采集模块本人还没开始试用,下一步可以根据需要用上。
下面的python 采集模块,我都尝试过,分享下自己的体验:
1 urllib,urllib2模块:采集单页面,或者数据量不大的数据。
2 requests模块:调用模式和相关模块比较简单,功能比较强大,适合模块调用。
3 scrapy框架:适合大量数据采集,结构化存储等,非常合适采集大量数据。
下面其他采集模块本人还没开始试用,下一步可以根据需要用上。
本文标题:python 采集模块
本文链接:https://www.haomeiwen.com/subject/ktlxxhtx.html
网友评论