美文网首页
Python 爬虫基础 (四) 开发者工具2

Python 爬虫基础 (四) 开发者工具2

作者: 汪小鱼 | 来源:发表于2021-10-04 07:45 被阅读0次

1 前言

在之前的文章中我们大致介绍了开发者工具中的几个常用的面板,本文是对于上文的进一步补充,对其中常用的 Network 的内容进行解释说明。在 Python 爬虫基础(三)中我们介绍了网络传输协议,了解了客户端和服务器之间的请求与响应,本文也将结合开发者工具对请求和响应进行解释。

2 Header

Network 面板的 Header 列出资源的请求 url、HTTP 方法、响应状态码、请求头和响应头及它们各自的值、请求参数、服务器相关信息等等。

Network 中的 Headers

根据上图我们不难发现 Headers 包含以上几个部分:General、Response Headers、Request Headers、Query String Parameters、Form Data。

2.1 General

点开 General,可以发现其中包含以下内容:

General

下表是针对其中内容进行的说明:

参数 详细
Request URL 请求的地址
Request Method 请求的方法
Status Code 响应状态码
Remote Address 远程服务器的 IP 地址和端口
Referrer Policy Referrer 判别策略

2.2 Request Headers

点开 Request Headers,可以发现其中包含以下内容:

Request Headers

由于 Request Headers 包含的内容较多,这里我们仅对其中最为常用的部分进行解释说明,下表是针对其中内容进行的说明:

参数 详细
accept 用于指定客户端可以接受那些类型的信息
accept-encoding 客户端可以接受的内容编码
accept-language 客户端可以接受的语言类型
content-length 内容长度
content-type 表示请求中的类型信息
cookie 主要功能是会话的维持
referer 标识请求的发送页面
user-agent 请求载体的身份标识

accept-encoding:浏览器通过这个头告诉服务器支持的压缩格式。为了提高传输速率,在发送资源时会进行压缩,浏览器在接收到资源后要进行解压,通过这个请求头服务器会根据浏览器支持的类型进行压缩。在构造爬虫的请求头时一般不加入此项,直接请求原数据。

2.3 Response Headers

点开 Response Headers,可以发现其中包含以下内容:

Response Headers

由于 Response Headers 包含的内容较多,这里我们仅对其中最为常用的部分进行解释说明,下表是针对其中内容进行的说明:

参数 详细
content-encoding 指定响应内容的编码
content-type 服务器响应回客户端的数据类型
date 标识响应的时间
expires 指定响应的过期时间
server 服务器信息
set-cookie 设置 cookie

2.4 Query String Parameters

查询字符串参数,在访问一些网站时会附带参数,对应网址后面 ?的内容。可以通过点击 view source 查看源代码。

2.5 Form Data

表单数据,在一些网站常用来携带页面相关信息或者用户登录信息


以上便是我们对开发者工具的简单介绍,后续会结合相应案例再具体介绍。

相关文章

网友评论

      本文标题:Python 爬虫基础 (四) 开发者工具2

      本文链接:https://www.haomeiwen.com/subject/xwyunltx.html