有爬虫就有反爬虫的，双方都是一直在博弈升级中。
常见的反爬虫措施有：
字体反爬
基于用户行为反爬虫
基于动态页面的反爬虫
IP限制
UA限制
Cookie限制
与之应对的反爬处理手段有：
字体反加密
控制IP访问次数频率，增加时间间隔
用户代理池技术
验证码OCR处理
抓包
Cookie池保存与处理
说在最后：
关于爬虫是否合法，在不睬法律红线的前提下，合法的数据抓取是没有问题的，不做亏心事不怕鬼敲门，还有就是控制一下自己的好奇欲，别乱爬就行。爬虫技术是一把刀，怎么用这把刀才是关键。
________________END______________
网友评论