网络爬虫怎么工作、如何用python实现？
你需要学习
1）首先你要明白爬虫怎样工作
好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。
查重处理最快的方法。不管你的带宽有多大，你的机器下载网页的速度都有个限制，那么你可以用多台机器加快这个速度。当然，我们使用Python多进程，假设每台机子都已经进了最大的效率。
3）集群化抓取
我爬取豆瓣，总共用了80多台机器昼夜不停地运行了一个月。那么可以知道只用一台电脑我们要等80个月都算少的。
好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及后处理
虽然上面用很多东西看似简单，但是真正要实现一个商业规模可用的python爬虫还是有挑战的。上面的所陈述的python代码，用来爬取一个整体的网站是没有太大的问题的。
你想象不到，这里每一个点都可以供无数程序员数十年的研究。
然而不要怕，路就在脚下，直接上手即可。、
进群：125240963 即可获取源码
网友评论