关于代理ip与网络爬虫

为什么我们的ip会被网站禁止访问了呢?网站禁我们ip的理由是什么?

　　网站封禁IP的理由就是后台查看该IP的访问次数，要是超过了网站所限制最高访问次数，就会对该IP进行封禁。但是如果是代理IP的话，情况就不一样了，因为访问网站的是代理IP，网站只能查看代理IP的访问次数。

　　所以爬虫就经常用到换ip工具，在爬虫的时候，我们不能采集哪些数据?

　　1.当采集的站点有声明禁止爬虫采集或者转载商业化时。

　　2.当网站声明了rebots协议

　　Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol)，网站通过Robots协议告诉爬虫哪些页面可以抓取，哪些页面不能抓取。

　　爬虫采集数据少不了使用换IP软件突破IP限制，91ip代理的千万IP池可以满足爬虫需求。

爬虫用户可以选择91ip代理来解决爬虫ip的问题，一个代理ip池是帮助爬虫高效开展的好辅助。