关于爬虫和反爬虫部分一些建议

关于爬虫部分一些建议

1、 尽量减少请求次数，能抓列表页就不抓详情页，减轻服务器压力，程序员都是混口饭吃不容易。

2、 不要只看 Web 网站，还有手机 App 和 H5，这样的反爬虫措施一般比较少。

3、 实际应用时候，一般防守方做到根据 IP 限制频次就结束了，除非很核心的数据，不会再进行更多的验证，毕竟成本的问题会考虑到。

4、 如果真的对性能要求很高，可以考虑多线程(一些成熟的框架如 Scrapy都已支持)，甚至分布式。

关于反爬虫部分一些建议

请看转载文章携程技术中心 - 携程酒店研发部研发经理崔广宇 <爬虫与反爬虫> 技术分享