Python 爬虫协议及建议

爬虫协议

什么是爬虫协议：
爬虫协议，也被叫做robots协议，是为了告诉网络蜘蛛哪些页面可以抓取，哪些页面不能抓取

如何查看爬虫协议：
在访问网站域名后加上robots.txt即可，例如查看百度网站的爬虫协议：https://www.baidu.com/robots.txt

爬虫协议属性：
拦截所有的机器人：
User-agent: *
Disallow: /

允许所有的机器人：
User-agent: *
Disallow:

例如：拉勾网明确给出了哪些允许、哪些不允许

拉勾.png

阅读robots协议，了解更多爬虫协议属性。

爬虫建议：
1、爬取互联网公开数据
2、尽量放慢你的速度，数据量很大的话需要增加超时设置（timeout）
3、尽量遵循robots协议
4、不要用于商业用途
5、不要公布爬虫程序与数据