爬虫协议

什么是爬虫协议：
爬虫协议，也被叫做robots协议，是为了告诉网络蜘蛛哪些页面可以抓取，哪些页面不能抓取

如何查看爬虫协议：
在访问网站域名后加上robots.txt即可，例如查看百度网站的爬虫协议：https://www.baidu.com/robots.txt

爬虫协议属性：
拦截所有的机器人：
User-agent: *
Disallow: /

允许所有的机器人：
User-agent: *
Disallow:

例如：拉勾网明确给出了哪些允许、哪些不允许

拉勾.png

阅读robots协议，了解更多爬虫协议属性。

爬虫建议：
1、爬取互联网公开数据
2、尽量放慢你的速度，数据量很大的话需要增加超时设置（timeout）
3、尽量遵循robots协议
4、不要用于商业用途
5、不要公布爬虫程序与数据

Python 爬虫协议及建议
爬虫协议什么是爬虫协议：爬虫协议，也被叫做robots协议，是为了告诉网络蜘蛛哪些页面可以抓取，哪些页面不能抓取...
Python爬虫要学多久，给初学编程者的建议
Python爬虫要学多久？初学Python有哪些建议？个人学习能力不同，掌握的时间也不同。建议先熟悉python...
Python爬虫要学多久初学Python有哪些建议
Python爬虫要学多久? 初学Python有哪些建议?个人学习能力不同，掌握的时间也不同。建议先熟悉python...
python爬虫初步
和http（超文本传输协议）爬虫步骤：确认需求》寻找需求》发送请求》解析数据》存储数据 python爬虫初步编...
爬虫入门系列（二）：优雅的HTTP库requests
在爬虫入门系列（一）：快速理解HTTP协议中介绍了 HTTP 协议，Python 提供了很多模块来基于 HTTP ...
Python爬虫-豆瓣电影Top250-各项信息爬取及xls保存
Python爬虫-豆瓣电影Top250-各项信息爬取及xls保存目的采用python爬虫爬取豆瓣电影Top25...
简单网络爬虫
前面说到http协议然后我们现在用python标准库urllib2来实现简单的网络爬虫喜欢python或者想学...
Robots协议
好的网络爬虫，首先需要遵守Robots协议。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除...
3分钟带你了解世界第一语言Python 入门上手也这么简单！
一、Python入门 1. Python爬虫入门一之综述 Python爬虫入门二之爬虫基础了解 Python爬虫入...
爬虫相关的一些命令
requestsrequests是python实现的最简单易用的HTTP库，建议爬虫使用requests 获取某个...