美文网首页
Python爬虫时不可避免的header是什么

Python爬虫时不可避免的header是什么

作者: 爱喝马黛茶的安东尼 | 来源:发表于2019-08-01 17:07 被阅读0次

    通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。这两种类型的消息由一个起始行,一个或者多个头域,一个只是头域结束的空行和可选的消息体组成。HTTP的头域包括通用头,请求头,响应头和实体头四个部分。每个头域由一个域名,冒号(:)和域值三部分组成。域名是大小写无关的,域值前可以添加任何数量的空格符,头域可以被扩展为多行,在每行开始处,使用至少一个空格或制表符。

    通用头域 (通用首部)

    通用头域包含请求和响应消息都支持的头域,提供了与报文相关的最基本的信息,通用头域包含:

    Connection:允许客户端和服务器指定与请求/响应连接有关的选项。

    Date:提供日期和时间标志,说明报文是什么时间创建的。

    MIME-Version:给出发送端使用的MIME版本。

    Trailer:如果报文采用了分块传输编码(chunked transfer encoding) 方式,就可以用这个首部列出位于报文拖挂(trailer)部分的首部集合。

    Transfer-Encoding:告知接收端为了保证报文的可靠传输,对报文采用了什么编码方式。

    Upgrade:给出了发送端可能想要”升级”使用的新版本和协议。

    Via:显示了报文经过的中间节点。

    对通用头域的扩展要求通讯双方都支持此扩展,如果存在不支持的通用头域,一般将会作为实体头域处理。下面简单介绍几个在UPnP消息中使用的通用头域。

    Cache-Control头域

    Cache -Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置 Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。

    请求时的缓存指令包括no-cache、no-store、max-age、 max-stale、min-fresh、only-if-cached。

    响应消息中的指令包括public、private、no-cache、no- store、no-transform、must-revalidate、proxy-revalidate、max-age。

    各个消息中的指令含义如下:

    (1)Public指示响应可被任何缓存区缓存。

    (2)Private指示对于单个用户的整个或部分响应消息,不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息,此响应消息对于其他用户的请求无效。

    (3)no-cache指示请求或响应消息不能缓存。

    (4)no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。

    (5)max-age指示客户机可以接收生存期不大于指定时间(以秒为单位)的响应。

    (6)min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。

    (7)max-stale指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值,那么客户机可以接收超出超时期指定值之内的响应消息。

    Date头域

    Date头域表示消息发送的时间,时间的描述格式由rfc822定义。例如,Date:Mon,31Dec200104:25:57GMT。Date描述的时间表示世界标准时,换算成本地时间,需要知道用户所在的时区。

    Pragma头域

    Pragma头域用来包含实现特定的指令,最常用的是Pragma:no-cache。在HTTP/1.1协议中,它的含义和Cache- Control:no-cache相同。

    请求消息

    请求消息的第一行为下面的格式:

    MethodSPRequest-URISPHTTP-VersionCRLFMethod 表示对于Request-URI完成的方法,这个字段是大小写敏感的,包括OPTIONS、GET、HEAD、POST、PUT、DELETE、 TRACE。

    方法GET和HEAD应该被所有的通用WEB服务器支持,其他所有方法的实现是可选的。

    GET方法取回由Request-URI标识的信息。

    HEAD方法也是取回由Request-URI标识的信息,只是可以在响应时,不返回消息体。

    POST方法可以请求服务器接收包含在请求中的实体信息,可 以用于提交表单,向新闻组、BBS、邮件群组和数据库发送消息。

    SP表示空格。Request-URI遵循URI格式,在此字段为星 号(*)时,说明请求并不用于某个特定的资源地址,而是用于服务器本身。HTTP- Version表示支持的HTTP版本,例如为HTTP/1.1。CRLF表示换行回车符。请求头域允许客户端向服务器传递关于请求或者关于客户机的附加信息。

    请求头域可能包含下列字段:Accept、Accept-Charset、Accept- Encoding、Accept-Language、Authorization、From、Host、If-Modified-Since、If- Match、If-None-Match、If-Range、If-Range、If-Unmodified-Since、Max-Forwards、 Proxy-Authorization、Range、Referer、User-Agent。

    对请求头域的扩展要求通讯双方都支持,如果存在不支持的请求头域,一般将会作为实体头域处理。

    典型的请求消息:

    GET http://download.google.com/somedata.exe

    Host: download.google.com

    Accept:/

    Pragma: no-cache

    Cache-Control: no-cache

    Referer: http://download.google.com/

    User-Agent:Mozilla/4.04en

    Range:bytes=554554-

    上例第一行表示HTTP客户端(可能是浏览器、下载程序)通过GET方法获得指定URL下的文件。棕色的部分表示请求头域的信息,绿色的部分表示通用头部分。

    Host头域

    Host头域指定请求资源的Intenet主机和端口号,必须表示请求url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域,否则系统会以400状态码返回。

    Referer头域

    Referer头域允许客户端指定请求uri的源资源地址,这可以允许服务器生成回退链表,可用来登陆、优化cache等。他也允许废除的或错误的连接由于维护的目的被追踪。如果请求的url没有自己的url地址,Referer不能被发送。如果指定的是部分url地址,则此地址应该是一个相对地址。

    Range头域

    Range头域可以请求实体的一个或者多个子范围。例如,

    表示头500个字节:bytes=0-499

    表示第二个500字节:bytes=500-999

    表示最后500个字节:bytes=-500

    表示500字节以后的范围:bytes=500-

    第一个和最后一个字节:bytes=0-0,-1

    同时指定几个范围:bytes=500-600,601-999

    但是服务器可以忽略此请求头,如果无条件GET包含Range请求头,响应会以状态码206(PartialContent)返回而不是以200 (OK)。

    User-Agent头域

    User-Agent头域的内容包含发出请求的用户信息。

    响应消息

    响应消息的第一行为下面的格式:

    HTTP-VersionSPStatus-CodeSPReason-PhraseCRLF

    HTTP -Version表示支持的HTTP版本,例如为HTTP/1.1。Status- Code是一个三个数字的结果代码。Reason-Phrase给Status-Code提供一个简单的文本描述。Status-Code主要用于机器自 动识别,Reason-Phrase主要用于帮助用户理解。Status-Code的第一个数字定义响应的类别,后两个数字没有分类的作用。第一个数字可能取5个不同的值:

    1xx:信息响应类,表示接收到请求并且继续处理

    2xx:处理成功响应类,表示动作被成功接收、理解和接受

    3xx:重定向响应类,为了完成指定的动作,必须接受进一步处理

    4xx:客户端错误,客户请求包含语法错误或者是不能正确执行

    5xx:服务端错误,服务器不能正确执行一个正确的请求

    响应头域允许服务器传递不能放在状态行的附加信息,这些域主要描述服务器的信息和Request-URI进一步的信息。响应头域包含Age、Location、Proxy-Authenticate、Public、Retry- After、Server、Vary、Warning、WWW-Authenticate。对响应头域的扩展要求通讯双方都支持,如果存在不支持的响应头域,一般将会作为实体头域处理。

    典型的响应消息:

    HTTP/1.0200OK

    Date:Mon,31Dec200104:25:57GMT

    Server:Apache/1.3.14(Unix)

    Content-type:text/html

    Last-modified:Tue,17Apr200106:46:28GMT

    Etag:”a030f020ac7c01:1e9f”

    Content-length:39725426

    Content-range:bytes554554-40279979/40279980

    本文参考地址:python中header是什么意思

    相关文章

      网友评论

          本文标题:Python爬虫时不可避免的header是什么

          本文链接:https://www.haomeiwen.com/subject/hrbfdctx.html