1 前言
在之前的文章中我们大致介绍了开发者工具中的几个常用的面板,本文是对于上文的进一步补充,对其中常用的 Network 的内容进行解释说明。在 Python 爬虫基础(三)中我们介绍了网络传输协议,了解了客户端和服务器之间的请求与响应,本文也将结合开发者工具对请求和响应进行解释。
2 Header
Network 面板的 Header 列出资源的请求 url、HTTP 方法、响应状态码、请求头和响应头及它们各自的值、请求参数、服务器相关信息等等。
Network 中的 Headers根据上图我们不难发现 Headers 包含以上几个部分:General、Response Headers、Request Headers、Query String Parameters、Form Data。
2.1 General
点开 General,可以发现其中包含以下内容:
General下表是针对其中内容进行的说明:
参数 | 详细 |
---|---|
Request URL | 请求的地址 |
Request Method | 请求的方法 |
Status Code | 响应状态码 |
Remote Address | 远程服务器的 IP 地址和端口 |
Referrer Policy | Referrer 判别策略 |
2.2 Request Headers
点开 Request Headers,可以发现其中包含以下内容:
Request Headers由于 Request Headers 包含的内容较多,这里我们仅对其中最为常用的部分进行解释说明,下表是针对其中内容进行的说明:
参数 | 详细 |
---|---|
accept | 用于指定客户端可以接受那些类型的信息 |
accept-encoding | 客户端可以接受的内容编码 |
accept-language | 客户端可以接受的语言类型 |
content-length | 内容长度 |
content-type | 表示请求中的类型信息 |
cookie | 主要功能是会话的维持 |
referer | 标识请求的发送页面 |
user-agent | 请求载体的身份标识 |
accept-encoding:浏览器通过这个头告诉服务器支持的压缩格式。为了提高传输速率,在发送资源时会进行压缩,浏览器在接收到资源后要进行解压,通过这个请求头服务器会根据浏览器支持的类型进行压缩。在构造爬虫的请求头时一般不加入此项,直接请求原数据。
2.3 Response Headers
点开 Response Headers,可以发现其中包含以下内容:
Response Headers由于 Response Headers 包含的内容较多,这里我们仅对其中最为常用的部分进行解释说明,下表是针对其中内容进行的说明:
参数 | 详细 |
---|---|
content-encoding | 指定响应内容的编码 |
content-type | 服务器响应回客户端的数据类型 |
date | 标识响应的时间 |
expires | 指定响应的过期时间 |
server | 服务器信息 |
set-cookie | 设置 cookie |
2.4 Query String Parameters
查询字符串参数,在访问一些网站时会附带参数,对应网址后面 ?的内容。可以通过点击 view source 查看源代码。
2.5 Form Data
表单数据,在一些网站常用来携带页面相关信息或者用户登录信息
以上便是我们对开发者工具的简单介绍,后续会结合相应案例再具体介绍。
网友评论