美文网首页
Python 爬虫基础 (四) 开发者工具2

Python 爬虫基础 (四) 开发者工具2

作者: 汪小鱼 | 来源:发表于2021-10-04 07:45 被阅读0次

    1 前言

    在之前的文章中我们大致介绍了开发者工具中的几个常用的面板,本文是对于上文的进一步补充,对其中常用的 Network 的内容进行解释说明。在 Python 爬虫基础(三)中我们介绍了网络传输协议,了解了客户端和服务器之间的请求与响应,本文也将结合开发者工具对请求和响应进行解释。

    2 Header

    Network 面板的 Header 列出资源的请求 url、HTTP 方法、响应状态码、请求头和响应头及它们各自的值、请求参数、服务器相关信息等等。

    Network 中的 Headers

    根据上图我们不难发现 Headers 包含以上几个部分:General、Response Headers、Request Headers、Query String Parameters、Form Data。

    2.1 General

    点开 General,可以发现其中包含以下内容:

    General

    下表是针对其中内容进行的说明:

    参数 详细
    Request URL 请求的地址
    Request Method 请求的方法
    Status Code 响应状态码
    Remote Address 远程服务器的 IP 地址和端口
    Referrer Policy Referrer 判别策略

    2.2 Request Headers

    点开 Request Headers,可以发现其中包含以下内容:

    Request Headers

    由于 Request Headers 包含的内容较多,这里我们仅对其中最为常用的部分进行解释说明,下表是针对其中内容进行的说明:

    参数 详细
    accept 用于指定客户端可以接受那些类型的信息
    accept-encoding 客户端可以接受的内容编码
    accept-language 客户端可以接受的语言类型
    content-length 内容长度
    content-type 表示请求中的类型信息
    cookie 主要功能是会话的维持
    referer 标识请求的发送页面
    user-agent 请求载体的身份标识

    accept-encoding:浏览器通过这个头告诉服务器支持的压缩格式。为了提高传输速率,在发送资源时会进行压缩,浏览器在接收到资源后要进行解压,通过这个请求头服务器会根据浏览器支持的类型进行压缩。在构造爬虫的请求头时一般不加入此项,直接请求原数据。

    2.3 Response Headers

    点开 Response Headers,可以发现其中包含以下内容:

    Response Headers

    由于 Response Headers 包含的内容较多,这里我们仅对其中最为常用的部分进行解释说明,下表是针对其中内容进行的说明:

    参数 详细
    content-encoding 指定响应内容的编码
    content-type 服务器响应回客户端的数据类型
    date 标识响应的时间
    expires 指定响应的过期时间
    server 服务器信息
    set-cookie 设置 cookie

    2.4 Query String Parameters

    查询字符串参数,在访问一些网站时会附带参数,对应网址后面 ?的内容。可以通过点击 view source 查看源代码。

    2.5 Form Data

    表单数据,在一些网站常用来携带页面相关信息或者用户登录信息


    以上便是我们对开发者工具的简单介绍,后续会结合相应案例再具体介绍。

    相关文章

      网友评论

          本文标题:Python 爬虫基础 (四) 开发者工具2

          本文链接:https://www.haomeiwen.com/subject/xwyunltx.html