美文网首页码农之路
HTTP协议——从零开始

HTTP协议——从零开始

作者: 无聊数藏家 | 来源:发表于2017-04-07 00:18 被阅读66次

    网络协议

    在互联网通信基础上,即信息能够通过电缆,光纤,交换机,路由器等硬件设备传输的基础上,制定的通信双方信息交互的格式,方式等

    HTTP协议

    目前绝大多数Web应用都是使用HTTP协议进行信息交互,包括每天访问的网站,手机上刷的APP等等

    历史起源

    1960年美国人Ted Nelson构思了一种通过计算机处理文本信息的方法,并称之为超文本(hypertext),这成为了HTTP超文本传输协议标准架构的发展根基

    Ted Nelson组织协调万维网协会(World Wide Web Consortium)和互联网工程工作小组(Internet Engineering Task Force )共同合作研究,最终发布了一系列的RFC,HTTP协议是其中之一

    注:网络协议不是科学发现,只是人类指定的标准,任何人都可以指定协议,但前提是得有人遵守,很遗憾,我们错过了制定这些基础标准的时间和机会

    网络层次

    HTTP协议是应用层协议,这已经是互联网协议的最顶层了,也就是直接与用户交互的这一层了。在HTTP协议的下面一层,是TCP/IP协议。对于互联网协议,会单独写一篇文章来讲

    HTTP/0.9(已过时)

    最早版本,极为简单,只有一个命令GET

    请求:TCP 连接(connection)建立后,客户端向服务器请求(request)网页index.html

    注:关于TCP连接如何建立,会单独在网络协议的文章中讲解

    GET /index.html
    

    返回:服务器只能回应HTML格式的字符串,不能回应别的格式

    <html>
      <body>Hello World</body>
    </html>
    

    HTTP/1.0

    第一,任何格式的内容都可以发送,包括文字,图片,视频等二进制
    第二,3个命令:GET、POST、HEAD
    第三,每次通信都必须包括头信息(HTTP header),用来描述一些元数据
    第四,新增状态码(status code)、多字符集支持、多部分发送(multi-part type)、权限(authorization)、缓存(cache)、内容编码(content encoding)等

    请求:第一行是请求命令,必须在尾部添加协议版本(HTTP/1.0)。后面就是多行头信息,描述客户端的情况

    GET /index.html HTTP/1.0
    User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)
    Accept: */*
    

    返回:头信息 + 一个空行(\r\n)+ 数据。第一行是 协议版本 + 状态码(status code)+ 状态描述

    HTTP/1.0 200 OK
    Content-Type: text/plain
    Content-Length: 137582
    Expires: Thu, 05 Dec 1997 16:00:00 GMT
    Last-Modified: Wed, 5 August 1996 15:55:28 GMT
    Server: Apache 0.84
    
    <html>
      <body>Hello World</body>
    </html>
    

    Content-Type

    注:1.0版规定,头信息必须是 ASCII 码,后面的数据可以是任何格式。因此,服务器回应的时候,必须告诉客户端,数据是什么格式

    text/plain
    text/html
    text/css
    image/jpeg
    audio/mp4
    video/mp4
    application/javascript
    application/pdf
    ...

    这些数据类型总称为MIME type,每个值包括一级类型和二级类型,之间用斜杠分隔
    除了预定义的类型,厂商也可以自定义类型

    application/vnd.debian.binary-package
    

    注:上面的类型表明,发送的是Debian系统的二进制数据包

    MIME type还可以在尾部使用分号,添加参数

    Content-Type: text/html; charset=utf-8
    

    注:上面的类型表明,发送的是网页,而且编码是UTF-8

    MIME type不仅用在HTTP协议,还可以用在其他地方,比如HTML网页

    注:可能很多人写了很久的HTML页面,都不知道meta标签的细节和作用

    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    <!-- 等同于 -->
    <meta charset="utf-8" /> 
    

    使用带有 http-equiv 属性的 <meta> 标签时,服务器将把名称/值对添加到发送给浏览器的内容头部,也就是HTTP协议的头信息

    content-type: text/html;charset:utf-8
    

    Content-Encoding

    由于发送的数据可以是任何格式,因此可以把数据压缩后再发送。Content-Encoding字段说明数据的压缩方法

    Content-Encoding: gzip
    Content-Encoding: compress
    Content-Encoding: deflate
    

    客户端在请求时,用Accept-Encoding字段说明自己可以接受哪些压缩方法

    Accept-Encoding: gzip, deflate
    

    缺点

    HTTP/1.0 版的主要缺点是,每个TCP连接只能发送一个请求。发送数据完毕,连接就关闭,如果还要请求其他资源,就必须再新建一个连接

    HTTP1.1

    1997年1月,HTTP/1.1 版本发布,只比 1.0 版本晚了半年。一直用到了20年后的今天

    持久连接

    最大变化,就是引入了持久连接(persistent connection),即TCP连接默认不关闭,可以被多个请求复用
    客户端和服务器发现对方一段时间没有活动,就可以主动关闭连接。不过,规范的做法是,客户端在最后一个请求时,发送Connection: close,明确要求服务器关闭TCP连接

    Connection: close
    

    目前,对于同一个域名,大多数浏览器允许同时建立6个持久连接

    管道机制

    引入了管道机制(pipelining),即在同一个TCP连接里面,客户端可以同时发送多个请求。这样就进一步改进了HTTP协议的效率

    举例来说,客户端需要请求两个资源。以前的做法是,在同一个TCP连接里面,先发送A请求,然后等待服务器做出回应,收到后再发出B请求。管道机制则是允许浏览器同时发出A请求和B请求,但是服务器还是按照顺序,先回应A请求,完成后再回应B请求

    返回:Content-Length 字段

    一个TCP连接现在可以传送多个回应,Content-length字段的作用,声明本次回应的数据长度

    Content-Length: 3495
    

    注:上面代码告诉浏览器,本次回应的长度是3495个字节,后面的字节就属于下一个回应了

    分块传输编码

    使用Content-Length字段的前提条件是,服务器发送回应之前,必须知道回应的数据长度
    对于一些很耗时的动态操作来说,这意味着,服务器要等到所有操作完成,才能发送数据,显然这样的效率不高
    更好的处理方法是,产生一块数据,就发送一块,采用"流模式"(stream)取代"缓存模式"(buffer)
    因此,1.1版规定可以不使用Content-Length字段,而使用"分块传输编码"(chunked transfer encoding)。只要请求或回应的头信息有Transfer-Encoding字段,就表明回应将由数量未定的数据块组成

    Transfer-Encoding: chunked
    

    每个非空的数据块之前,会有一个16进制的数值,表示这个块的长度。最后是一个大小为0的块,就表示本次回应的数据发送完了

    HTTP/1.1 200 OK
    Content-Type: text/plain
    Transfer-Encoding: chunked
    
    25
    This is the data in the first chunk
    
    1C
    and this is the second one
    
    3
    con
    
    8
    sequence
    
    0
    

    其他功能

    新增了许多动词方法:PUT、PATCH、HEAD、 OPTIONS、DELETE

    另外,客户端请求的头信息新增了Host字段,用来指定服务器的域名

    Host: www.example.com
    

    有了Host字段,就可以将请求发往同一台服务器上的不同网站,为虚拟主机的兴起打下了基础

    缺点

    虽然1.1版允许复用TCP连接,但是同一个TCP连接里面,所有的数据通信是按次序进行的。服务器只有处理完一个回应,才会进行下一个回应。要是前面的回应特别慢,后面就会有许多请求排队等着。这称为"队头堵塞"(Head-of-line blocking)

    为了避免这个问题,只有两种方法:一是减少请求数,二是同时多开持久连接。这导致了很多的网页优化技巧,比如合并脚本和样式表、将图片嵌入CSS代码、域名分片(domain sharding)等等。如果HTTP协议设计得更好一些,这些额外的工作是可以避免的

    注:这就是网页优化技巧使用的根本原因

    HTTP/2

    2015年,HTTP/2 发布,下一个新版本将直接是 HTTP/3

    二进制协议

    HTTP/1.1 版的头信息肯定是文本(ASCII编码),数据体任意。HTTP/2 则是一个彻底的二进制协议,头信息和数据体都是二进制,并且统称为"帧"(frame):头信息帧和数据帧

    二进制协议的一个好处是,可以定义额外的帧。HTTP/2 定义了近十种帧,为将来的高级应用打好了基础。如果使用文本实现这种功能,解析数据将会变得非常麻烦,二进制解析则方便得多

    多工

    HTTP/2 复用TCP连接,在一个连接里,客户端和浏览器都可以同时发送多个请求或回应,而且不用按照顺序一一对应,这样就避免了"队头堵塞"

    举例来说,在一个TCP连接里面,服务器同时收到了A请求和B请求,于是先回应A请求,结果发现处理过程非常耗时,于是就发送A请求已经处理好的部分, 接着回应B请求,完成后,再发送A请求剩下的部分

    注:这样双向的、实时的通信,就叫做多工(Multiplexing)

    数据流

    因为 HTTP/2 的数据包是不按顺序发送的,同一个连接里面连续的数据包,可能属于不同的回应。因此,必须要对数据包做标记,指出它属于哪个回应。

    HTTP/2 将每个请求或回应的所有数据包,称为一个数据流(stream)。每个数据流都有一个独一无二的编号。数据包发送的时候,都必须标记数据流ID,用来区分它属于哪个数据流。另外还规定,客户端发出的数据流,ID一律为奇数,服务器发出的,ID为偶数。

    数据流发送到一半的时候,客户端和服务器都可以发送信号(RST_STREAM帧),取消这个数据流。1.1版取消数据流的唯一方法,就是关闭TCP连接。这就是说,HTTP/2 可以取消某一次请求,同时保证TCP连接还打开着,可以被其他请求使用。

    客户端还可以指定数据流的优先级。优先级越高,服务器就会越早回应。

    头信息压缩

    HTTP 协议之前版本不带有状态,每次请求都必须附上所有信息。所以,请求的很多字段都是重复的,比如Cookie和User Agent,一模一样的内容,每次请求都必须附带,这会浪费很多带宽,也影响速度。

    HTTP/2 对这一点做了优化,引入了头信息压缩机制(header compression)。

    一,头信息使用gzip或compress压缩后再发送

    二,客户端和服务器同时维护一张头信息表,所有字段都会存入这个表,生成一个索引号,以后就不发送同样字段了,只发送索引号,这样就提高速度了

    服务器推送

    HTTP/2 允许服务器未经请求,主动向客户端发送资源,这叫做服务器推送(server push)

    常见场景是客户端请求一个网页,这个网页里面包含很多静态资源。正常情况下,客户端必须收到网页后,解析HTML源码,发现有静态资源,再发出静态资源请求。其实,服务器可以预期到客户端请求网页后,很可能会再请求静态资源,所以就主动把这些静态资源随着网页一起发给客户端了

    注:可以看到,HTTP/2 协议相比之前版本先进了很多,更灵活,更快速,更稳定,真的很期待全面普及的到来

    本文若有任何的错误请一定指出,感谢

    本文的归纳总结基于:

    阮一峰 HTTP 协议入门
    Hypertext Transfer Protocol -- HTTP/1.0

    相关文章

      网友评论

        本文标题:HTTP协议——从零开始

        本文链接:https://www.haomeiwen.com/subject/mpdcattx.html