受限于编写水平和目的，网络爬虫将会为 web 服务器带来巨大的资源开销。服务器上的数据有产权归属，网络爬虫获取数据后牟利将带来法律风险。网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。
网络爬虫的限制
Robots协议
Robots Exclusion Standard 网络爬虫排除标准
Robots 协议
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件
案例：京东的Robots协议 https://www.jd.com/robots.txt
Robots协议的遵守方式
网络爬虫：自动或人工识别 robots.txt，再进行内容爬取
Robots 协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险
协议遵守方式
类人行为是指爬虫以类似普通用户的访问方式访问资源
目录： 一、Robots协议简介 二、亚马逊网站robots.txt分析 一、Robots协议简介 Robots协...
关于robots协议 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots ...
1.robots协议 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots ...
一、robots协议 robots协议，也称爬虫协议，网站会在 robots.txt 文件中声明哪些内容可以爬取，...
By 一页编程 什么是Robots协议 Robots是机器人的意思，那Robots协议是什么呢？ Robots协...
Robots协议 “网络爬虫排除标准”（Robots Exclusion Protocol）也称为爬虫协议、机器人...
robots协议的作用： Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robot...
利用 urllib.robotparser 模块可以对网站的 Robots 协议进行分析 Robots协议（也称为...
Robots协议（爬虫协议、机器人协议等）网站通过Robots协议告诉蜘蛛哪些页面可以抓取，哪些页面不能抓取。 R...
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion P...
本文标题：Robots 协议
本文链接：https://www.haomeiwen.com/subject/fhgwnltx.html
网友评论