美文网首页
透视HTTP协议:学习笔记

透视HTTP协议:学习笔记

作者: 成功在于实践 | 来源:发表于2020-08-29 15:42 被阅读0次
    HTTP是什么?HTTP又不是什么?
    
    1. HTTP 是一个用在计算机世界里的协议,它确立了一种计算机之间交流通信的规范,以及相关的各种控制和错误处理方式。
    2. HTTP 专门用来在两点之间传输数据,不能用于广播、寻址或路由。
    3. HTTP 传输的是文字、图片、音频、视频等超文本数据。
    4. HTTP 是构建互联网的重要基础技术,它没有实体,依赖许多其他的技术来实现,但同时许多技术也都依赖于它。
    与HTTP相关的各种概念(上)
    
    1. 互联网上绝大部分资源都使用 HTTP 协议传输;

    2. 浏览器是 HTTP 协议里的请求方,即 User Agent;

    3. 服务器是 HTTP 协议里的应答方,常用的有 Apache 和 Nginx;

    4. CDN 位于浏览器和服务器之间,主要起到缓存加速的作用;

    5. 爬虫是另一类 User Agent,是自动访问网络资源的程序。

    与HTTP相关的各种概念(下)   
    
    1. TCP/IP 是网络世界最常用的协议,HTTP 通常运行在 TCP/IP 提供的可靠传输基础上;
    2. DNS 域名是 IP 地址的等价替代,需要用域名解析实现到 IP 地址的映射;
    3. URI 是用来标记互联网上资源的一个名字,由“协议名 + 主机名 + 路径”构成,俗称 URL;
    4. HTTPS 相当于“HTTP+SSL/TLS+TCP/IP”,为 HTTP 套了一个安全的外壳;
    5. 代理是 HTTP 传输过程中的“中转站”,可以实现缓存加速、负载均衡等功能。
    常说的“四层”和“七层”到底是什么?
    
    1. TCP/IP 分为四层,核心是二层的 IP 和三层的 TCP,HTTP 在第四层;
    2. OSI 分为七层,基本对应 TCP/IP,TCP 在第四层,HTTP 在第七层;
    3. OSI 可以映射到 TCP/IP,但这期间一、五、六层消失了;
    4. 日常交流的时候我们通常使用 OSI 模型,用四层、七层等术语;
    5. HTTP 利用 TCP/IP 协议栈逐层打包再拆包,实现了数据传输,但下面的细节并不可见。

    有一个辨别四层和七层比较好的(但不是绝对的)小窍门,“两个凡是”:凡是由操作系统负责处理的就是四层或四层以下,否则,凡是需要由应用程序(也就是你自己写代码)负责处理的就是七层。

    知识点
    

    1 二层转发:设备工作在链路层,帧在经过交换机设备时,检查帧的头部信息,拿到目标mac地址,进行本地转发和广播
    2 三层路由:设备工作在ip层,报文经过有路由功能的设备时,设备分析报文中的头部信息,拿到ip地址,根据网段范围,进行本地转发或选择下一个网关
    3 dns,网络请求的第一步是域名解析,所以工作在应用层

    06 | 域名里有哪些门道?
    
    1. 域名使用字符串来代替 IP 地址,方便用户记忆,本质上一个名字空间系统;
    2. DNS 就像是我们现实世界里的电话本、查号台,统管着互联网世界里的所有网站,是一个“超级大管家”;
    3. DNS 是一个树状的分布式查询系统,但为了提高查询效率,外围有多级的缓存;
    4. 使用 DNS 可以实现基于域名的负载均衡,既可以在内网,也可以在外网。
    07 | 自己动手,搭建HTTP实验环境
    
    1. 现实的网络环境太复杂,有很多干扰因素,搭建“最小化”的环境可以快速抓住重点,掌握 HTTP 的本质;
    2. 我们选择 Wireshark 作为抓包工具,捕获在 TCP/IP 协议栈中传输的所有流量;
    3. 我们选择 Chrome 或 Firefox 浏览器作为 HTTP 协议中的 user agent;
    4. 我们选择 OpenResty 作为 Web 服务器,它是一个 Nginx 的“强化包”,功能非常丰富;
    5. Telnet 是一个命令行工具,可用来登录主机模拟浏览器操作;
    6. 在 GitHub 上可以下载到本专栏的专用项目源码,只要把 OpenResty 解压到里面即可完成实验环境的搭建。
    08 | 键入网址再按下回车,后面究竟发生了什么?
    
    1. HTTP 协议基于底层的 TCP/IP 协议,所以必须要用 IP 地址建立连接;
    2. 如果不知道 IP 地址,就要用 DNS 协议去解析得到 IP 地址,否则就会连接失败;
    3. 建立 TCP 连接后会顺序收发数据,请求方和应答方都必须依据 HTTP 规范构建和解析报文;
    4. 为了减少响应时间,整个过程中的每一个环节都会有缓存,能够实现“短路”操作;
    5. 虽然现实中的 HTTP 传输过程非常复杂,但理论上仍然可以简化成实验里的“两点”模型。
    知识点
    

    简要叙述一下这次最简单的浏览器 HTTP 请求过程:

    1. 浏览器从地址栏的输入中获得服务器的 IP 地址和端口号;
    2. 浏览器用 TCP 的三次握手与服务器建立连接;
    3. 浏览器向服务器发送拼好的报文;
    4. 服务器收到报文后处理请求,同样拼好报文再发给浏览器;
    5. 浏览器解析报文,渲染输出页面。
    09 | HTTP报文是什么样子的?
    
    1. HTTP 报文结构就像是“大头儿子”,由“起始行 + 头部 + 空行 + 实体”组成,简单地说就是“header+body”;
    2. HTTP 报文可以没有 body,但必须要有 header,而且 header 后也必须要有空行,形象地说就是“大头”必须要带着“脖子”;
    3. 请求头由“请求行 + 头部字段”构成,响应头由“状态行 + 头部字段”构成;
    4. 请求行有三部分:请求方法,请求目标和版本号;
    5. 状态行也有三部分:版本号,状态码和原因字符串;
    6. 头部字段是 key-value 的形式,用“:”分隔,不区分大小写,顺序任意,除了规定的标准头,也可以任意添加自定义字段,实现功能扩展;
    7. HTTP/1.1 里唯一要求必须提供的头字段是 Host,它必须出现在请求头里,标记虚拟主机名。
    10 | 应该如何理解请求方法?
    
    1. 请求方法是客户端发出的、要求服务器执行的、对资源的一种操作;
    2. 请求方法是对服务器的“指示”,真正应如何处理由服务器来决定;
    3. 最常用的请求方法是 GET 和 POST,分别是获取数据和发送数据;
    4. HEAD 方法是轻量级的 GET,用来获取资源的元信息;
    5. PUT 基本上是 POST 的同义词,多用于更新数据;
    6. “安全”与“幂等”是描述请求方法的两个重要属性,具有理论指导意义,可以帮助我们设计系统。
    知识点
    
    1. GET:获取资源,可以理解为读取或者下载数据;
    2. HEAD:获取资源的元信息;
    3. POST:向资源提交数据,相当于写入或上传数据;
    4. PUT:类似 POST;
    5. DELETE:删除资源;
    6. CONNECT:建立特殊的连接隧道;
    7. OPTIONS:列出可对资源实行的方法;
    8. TRACE:追踪请求 - 响应的传输路径。
    11 | 你能写出正确的网址吗?
    
    1. URI 是用来唯一标记服务器上资源的一个字符串,通常也称为 URL;
    2. URI 通常由 scheme、host:port、path 和 query 四个部分组成,有的可以省略;
    3. scheme 叫“方案名”或者“协议名”,表示资源应该使用哪种协议来访问;
    4. “host:port”表示资源所在的主机名和端口号;
    5. path 标记资源所在的位置;
    6. query 表示对资源附加的额外要求;
    7. 在 URI 里对“@&/”等特殊字符和汉字必须要做编码,否则服务器收到 HTTP 报文后会无法正确处理。
    12 | 响应状态码该怎么用?
    
    1. 状态码在响应报文里表示了服务器对请求的处理结果;
    2. 状态码后的原因短语是简单的文字描述,可以自定义;
    3. 状态码是十进制的三位数,分为五类,从 100 到 599;
    4. 2××类状态码表示成功,常用的有 200、204、206;
    5. 3××类状态码表示重定向,常用的有 301、302、304;
    6. 4××类状态码表示客户端错误,常用的有 400、403、404;
    7. 5××类状态码表示服务器错误,常用的有 500、501、502、503。
    知识点
    
    • 1××:提示信息,表示目前是协议处理的中间状态,还需要后续的操作;
    • 2××:成功,报文已经收到并被正确处理;
    • 3××:重定向,资源位置发生变动,需要客户端重新发送请求;
    • 4××:客户端错误,请求报文有误,服务器无法处理;
    • 5××:服务器错误,服务器在处理请求时内部发生了错误。
    13 | HTTP有哪些特点?
    
    1. HTTP 是灵活可扩展的,可以任意添加头字段实现任意功能;
    2. HTTP 是可靠传输协议,基于 TCP/IP 协议“尽量”保证数据的送达;
    3. HTTP 是应用层协议,比 FTP、SSH 等更通用功能更多,能够传输任意数据;
    4. HTTP 使用了请求 - 应答模式,客户端主动发起请求,服务器被动回复请求;
    5. HTTP 本质上是无状态的,每个请求都是互相独立、毫无关联的,协议不要求客户端或服务器记录请求相关的信息。
    14 | HTTP有哪些优点?又有哪些缺点?
    
    1. HTTP 最大的优点是简单、灵活和易于扩展;
    2. HTTP 拥有成熟的软硬件环境,应用的非常广泛,是互联网的基础设施;
    3. HTTP 是无状态的,可以轻松实现集群化,扩展性能,但有时也需要用 Cookie 技术来实现“有状态”;
    4. HTTP 是明文传输,数据完全肉眼可见,能够方便地研究分析,但也容易被窃听;
    5. HTTP 是不安全的,无法验证通信双方的身份,也不能判断报文是否被窜改;
    6. HTTP 的性能不算差,但不完全适应现在的互联网,还有很大的提升空间。
    15 | 海纳百川:HTTP的实体数据
    
    1. 数据类型表示实体数据的内容是什么,使用的是 MIME type,相关的头字段是 Accept 和 Content-Type;
    2. 数据编码表示实体数据的压缩方式,相关的头字段是 Accept-Encoding 和 Content-Encoding;
    3. 语言类型表示实体数据的自然语言,相关的头字段是 Accept-Language 和 Content-Language;
    4. 字符集表示实体数据的编码方式,相关的头字段是 Accept-Charset 和 Content-Type;
    5. 客户端需要在请求头里使用 Accept 等头字段与服务器进行“内容协商”,要求服务器返回最合适的数据;
    6. Accept 等头字段可以用“,”顺序列出多个可能的选项,还可以用“;q=”参数来精确指定权重。
    16 | 把大象装进冰箱:HTTP传输大文件的方法
    
    1. 压缩 HTML 等文本文件是传输大文件最基本的方法;
    2. 分块传输可以流式收发数据,节约内存和带宽,使用响应头字段“Transfer-Encoding: chunked”来表示,分块的格式是 16 进制长度头 + 数据块;
    3. 范围请求可以只获取部分数据,即“分块请求”,实现视频拖拽或者断点续传,使用请求头字段“Range”和响应头字段“Content-Range”,响应状态码必须是 206;
    4. 也可以一次请求多个范围,这时候响应报文的数据类型是“multipart/byteranges”,body 里的多个部分会用 boundary 字符串分隔。
    17 | 排队也要讲效率:HTTP的连接管理
    
    1. 早期的 HTTP 协议使用短连接,收到响应后就立即关闭连接,效率很低;
    2. HTTP/1.1 默认启用长连接,在一个连接上收发多个请求响应,提高了传输效率;
    3. 服务器会发送“Connection: keep-alive”字段表示启用了长连接;
    4. 报文头里如果有“Connection: close”就意味着长连接即将关闭;
    5. 过多的长连接会占用服务器资源,所以服务器会用一些策略有选择地关闭长连接;
    6. “队头阻塞”问题会导致性能下降,可以用“并发连接”和“域名分片”技术缓解。
    知识点
    

    服务器端通常不会主动关闭连接,但也可以使用一些策略。拿 Nginx 来举例,它有两种方式:

    1. 使用“keepalive_timeout”指令,设置长连接的超时时间,如果在一段时间内连接上没有任何数据收发就主动断开连接,避免空闲连接占用系统资源。
    2. 使用“keepalive_requests”指令,设置长连接上可发送的最大请求次数。比如设置成 1000,那么当 Nginx 在这个连接上处理了 1000 个请求后,也会主动断开连接。
    18 | 四通八达:HTTP的重定向和跳转
    
    1. 重定向是服务器发起的跳转,要求客户端改用新的 URI 重新发送请求,通常会自动进行,用户是无感知的;
    2. 301/302 是最常用的重定向状态码,分别是“永久重定向”和“临时重定向”;
    3. 响应头字段 Location 指示了要跳转的 URI,可以用绝对或相对的形式;
    4. 重定向可以把一个 URI 指向另一个 URI,也可以把多个 URI 指向同一个 URI,用途很多;
    5. 使用重定向时需要当心性能损耗,还要避免出现循环跳转。
    19 | 让我知道你是谁:HTTP的Cookie机制
    
    1. Cookie 是服务器委托浏览器存储的一些数据,让服务器有了“记忆能力”;
    2. 响应报文使用 Set-Cookie 字段发送“key=value”形式的 Cookie 值;
    3. 请求报文里用 Cookie 字段发送多个 Cookie 值;
    4. 为了保护 Cookie,还要给它设置有效期、作用域等属性,常用的有 Max-Age、Expires、Domain、HttpOnly 等;
    5. Cookie 最基本的用途是身份识别,实现有状态的会话事务。
    20 | 生鲜速递:HTTP的缓存控制
    
    1. 缓存是优化系统性能的重要手段,HTTP 传输的每一个环节中都可以有缓存;
    2. 服务器使用“Cache-Control”设置缓存策略,常用的是“max-age”,表示资源的有效期;
    3. 浏览器收到数据就会存入缓存,如果没过期就可以直接使用,过期就要去服务器验证是否仍然可用;
    4. 验证资源是否失效需要使用“条件请求”,常用的是“if-Modified-Since”和“If-None-Match”,收到 304 就可以复用缓存里的资源;
    5. 验证资源是否被修改的条件有两个:“Last-modified”和“ETag”,需要服务器预先在响应报文里设置,搭配条件请求使用;
    6. 浏览器也可以发送“Cache-Control”字段,使用“max-age=0”或“no_cache”刷新数据。
    知识点
    
    • no_store:不允许缓存,用于某些变化非常频繁的数据,例如秒杀页面;
    • no_cache:它的字面含义容易与 no_store 搞混,实际的意思并不是不允许缓存,而是可以缓存,但在使用之前必须要去服务器验证是否过期,是否有最新的版本;
    • must-revalidate:又是一个和 no_cache 相似的词,它的意思是如果缓存不过期就可以继续使用,但过期了如果还想用就必须去服务器验证。
    21 | 良心中间商:HTTP的代理服务
    
    1. HTTP 代理就是客户端和服务器通信链路中的一个中间环节,为两端提供“代理服务”;
    2. 代理处于中间层,为 HTTP 处理增加了更多的灵活性,可以实现负载均衡、安全防护、数据过滤等功能;
    3. 代理服务器需要使用字段“Via”标记自己的身份,多个代理会形成一个列表;
    4. 如果想要知道客户端的真实 IP 地址,可以使用字段“X-Forwarded-For”和“X-Real-IP”;
    5. 专门的“代理协议”可以在不改动原始报文的情况下传递客户端的真实 IP。
    22 | 冷链周转:HTTP的缓存代理
    
    1. 计算机领域里最常用的性能优化手段是“时空转换”,也就是“时间换空间”或者“空间换时间”,HTTP 缓存属于后者;
    2. 缓存代理是增加了缓存功能的代理服务,缓存源服务器的数据,分发给下游的客户端;
    3. “Cache-Control”字段也可以控制缓存代理,常用的有“private”“s-maxage”“no-transform”等,同样必须配合“Last-modified”“ETag”等字段才能使用;
    4. 缓存代理有时候也会带来负面影响,缓存不良数据,需要及时刷新或删除。
    23 | HTTPS是什么?SSL/TLS又是什么?
    
    1. 因为 HTTP 是明文传输,所以不安全,容易被黑客窃听或窜改;
    2. 通信安全必须同时具备机密性、完整性,身份认证和不可否认这四个特性;
    3. HTTPS 的语法、语义仍然是 HTTP,但把下层的协议由 TCP/IP 换成了 SSL/TLS;
    4. SSL/TLS 是信息安全领域中的权威标准,采用多种先进的加密技术保证通信安全;
    5. OpenSSL 是著名的开源密码学工具包,是 SSL/TLS 的具体实现。
    24 | 固若金汤的根本(上):对称加密与非对称加密
    
    1. 加密算法的核心思想是“把一个小秘密(密钥)转化为一个大秘密(密文消息)”,守住了小秘密,也就守住了大秘密;
    2. 对称加密只使用一个密钥,运算速度快,密钥必须保密,无法做到安全的密钥交换,常用的有 AES 和 ChaCha20;
    3. 非对称加密使用两个密钥:公钥和私钥,公钥可以任意分发而私钥保密,解决了密钥交换问题但速度慢,常用的有 RSA 和 ECC;
    4. 把对称加密和非对称加密结合起来就得到了“又好又快”的混合加密,也就是 TLS 里使用的加密方式。
    25 | 固若金汤的根本(下):数字签名与证书
    
    1. 摘要算法用来实现完整性,能够为数据生成独一无二的“指纹”,常用的算法是 SHA-2;
    2. 数字签名是私钥对摘要的加密,可以由公钥解密后验证,实现身份认证和不可否认;
    3. 公钥的分发需要使用数字证书,必须由 CA 的信任链来验证,否则就是不可信的;
    4. 作为信任链的源头 CA 有时也会不可信,解决办法有 CRL、OCSP,还有终止信任。
    26 | 信任始于握手:TLS1.2连接过程解析
    
    1. HTTPS 协议会先与服务器执行 TCP 握手,然后执行 TLS 握手,才能建立安全连接;
    2. 握手的目标是安全地交换对称密钥,需要三个随机数,第三个随机数“Pre-Master”必须加密传输,绝对不能让黑客破解;
    3. “Hello”消息交换随机数,“Key Exchange”消息交换“Pre-Master”;
    4. “Change Cipher Spec”之前传输的都是明文,之后都是对称密钥加密的密文。
    27 | 更好更快的握手:TLS1.3特性解析
    
    1. 为了兼容 1.1、1.2 等“老”协议,TLS1.3 会“伪装”成 TLS1.2,新特性在“扩展”里实现;
    2. 1.1、1.2 在实践中发现了很多安全隐患,所以 TLS1.3 大幅度删减了加密算法,只保留了 ECDHE、AES、ChaCha20、SHA-2 等极少数算法,强化了安全;
    3. TLS1.3 也简化了握手过程,完全握手只需要一个消息往返,提升了性能。
    28 | 连接太慢该怎么办:HTTPS的优化
    
    1. 可以有多种硬件和软件手段减少网络耗时和计算耗时,让 HTTPS 变得和 HTTP 一样快,最可行的是软件优化;
    2. 应当尽量使用 ECDHE 椭圆曲线密码套件,节约带宽和计算量,还能实现“False Start”;
    3. 服务器端应当开启“OCSP Stapling”功能,避免客户端访问 CA 去验证证书;
    4. 会话复用的效果类似 Cache,前提是客户端必须之前成功建立连接,后面就可以用“Session ID”“Session Ticket”等凭据跳过密钥交换、证书验证等步骤,直接开始加密通信。
    29 | 我应该迁移到HTTPS吗?
    
    1. 从 HTTP 迁移到 HTTPS 是“大势所趋”,能做就应该尽早做;
    2. 升级 HTTPS 首先要申请数字证书,可以选择免费好用的“Let’s Encrypt”;
    3. 配置 HTTPS 时需要注意选择恰当的 TLS 版本和密码套件,强化安全;
    4. 原有的 HTTP 站点可以保留作为过渡,使用 301 重定向到 HTTPS。
    30 | 时代之风(上):HTTP/2特性概览
    
    1. HTTP 协议取消了小版本号,所以 HTTP/2 的正式名字不是 2.0;
    2. HTTP/2 在“语义”上兼容 HTTP/1,保留了请求方法、URI 等传统概念;
    3. HTTP/2 使用“HPACK”算法压缩头部信息,消除冗余数据节约带宽;
    4. HTTP/2 的消息不再是“Header+Body”的形式,而是分散为多个二进制“帧”;
    5. HTTP/2 使用虚拟的“流”传输消息,解决了困扰多年的“队头阻塞”问题,同时实现了“多路复用”,提高连接的利用率;
    6. HTTP/2 也增强了安全性,要求至少是 TLS1.2,而且禁用了很多不安全的密码套件。
    31 | 时代之风(下):HTTP/2内核剖析
    
    1. HTTP/2 必须先发送一个“连接前言”字符串,然后才能建立正式连接;
    2. HTTP/2 废除了起始行,统一使用头字段,在两端维护字段“Key-Value”的索引表,使用“HPACK”算法压缩头部;
    3. HTTP/2 把报文切分为多种类型的二进制帧,报头里最重要的字段是流标识符,标记帧属于哪个流;
    4. 流是 HTTP/2 虚拟的概念,是帧的双向传输序列,相当于 HTTP/1 里的一次“请求 - 应答”;
    5. 在一个 HTTP/2 连接上可以并发多个流,也就是多个“请求 - 响应”报文,这就是“多路复用”。
    知识点
    

    HTTP/2 的流有哪些特点呢?我给你简单列了一下:

    1. 流是可并发的,一个 HTTP/2 连接上可以同时发出多个流传输数据,也就是并发多请求,实现“多路复用”;
    2. 客户端和服务器都可以创建流,双方互不干扰;
    3. 流是双向的,一个流里面客户端和服务器都可以发送或接收数据帧,也就是一个“请求 - 应答”来回;
    4. 流之间没有固定关系,彼此独立,但流内部的帧是有严格顺序的;
    5. 流可以设置优先级,让服务器优先处理,比如先传 HTML/CSS,后传图片,优化用户体验;
    6. 流 ID 不能重用,只能顺序递增,客户端发起的 ID 是奇数,服务器端发起的 ID 是偶数;
    7. 在流上发送“RST_STREAM”帧可以随时终止流,取消接收或发送;
    8. 第 0 号流比较特殊,不能关闭,也不能发送数据帧,只能发送控制帧,用于流量控制。
    33 | 我应该迁移到HTTP/2吗?
    
    1. HTTP/2 完全兼容 HTTP/1,是“更安全的 HTTP、更快的 HTTPS”,头部压缩、多路复用等技术可以充分利用带宽,降低延迟,从而大幅度提高上网体验;
    2. TCP 协议存在“队头阻塞”,所以 HTTP/2 在弱网或者移动网络下的性能表现会不如 HTTP/1;
    3. 迁移到 HTTP/2 肯定会有性能提升,但高流量网站效果会更显著;
    4. 如果已经升级到了 HTTPS,那么再升级到 HTTP/2 会很简单;
    5. TLS 协议提供“ALPN”扩展,让客户端和服务器协商使用的应用层协议,“发现”HTTP/2 服务。
    32 | 未来之路:HTTP/3展望
    
    1. HTTP/3 基于 QUIC 协议,完全解决了“队头阻塞”问题,弱网环境下的表现会优于 HTTP/2;
    2. QUIC 是一个新的传输层协议,建立在 UDP 之上,实现了可靠传输;
    3. QUIC 内含了 TLS1.3,只能加密通信,支持 0-RTT 快速建连;
    4. QUIC 的连接使用“不透明”的连接 ID,不绑定在“IP 地址 + 端口”上,支持“连接迁移”;
    5. QUIC 的流与 HTTP/2 的流很相似,但分为双向流和单向流;
    6. HTTP/3 没有指定默认端口号,需要用 HTTP/2 的扩展帧“Alt-Svc”来发现。
    34 | Nginx:高性能的Web服务器
    
    1. Nginx 是一个高性能的 Web 服务器,它非常的轻量级,消耗的 CPU、内存很少;
    2. Nginx 采用“master/workers”进程池架构,不使用多线程,消除了进程、线程切换的成本;
    3. Nginx 基于 epoll 实现了“I/O 多路复用”,不会阻塞,所以性能很高;
    4. Nginx 使用了“职责链”模式,多个模块分工合作,自由组合,以流水线的方式处理 HTTP 请求。
    35 | OpenResty:更灵活的Web服务器
    
    1. Nginx 依赖于磁盘上的静态配置文件,修改后必须重启才能生效,缺乏灵活性;
    2. OpenResty 基于 Nginx,打包了很多有用的模块和库,是一个高性能的 Web 开发平台;
    3. OpenResty 的工作语言是 Lua,它小巧灵活,执行效率高,支持“代码热加载”;
    4. OpenResty 的核心编程范式是“同步非阻塞”,使用协程,不需要异步回调函数;
    5. OpenResty 也使用“阶段式处理”的工作模式,但因为在阶段里执行的都是 Lua 代码,所以非常灵活,配合 Redis 等外部数据库能够实现各种动态配置。
    36 | WAF:保护我们的网络服务
    
    1. Web 服务通常都运行在公网上,容易受到“DDoS”、“代码注入”等各种黑客攻击,影响正常的服务,所以必须要采取措施加以保护;
    2. WAF 是一种“HTTP 入侵检测和防御系统”,工作在七层,为 Web 服务提供全面的防护;
    3. ModSecurity 是一个开源的、生产级的 WAF 产品,核心组成部分是“规则引擎”和“规则集”,两者的关系有点像杀毒引擎和病毒特征库;
    4. WAF 实质上是模式匹配与数据过滤,所以会消耗 CPU,增加一些计算成本,降低服务能力,使用时需要在安全与性能之间找到一个“平衡点”。
    37 | CDN:加速我们的网络服务
    
    38 | WebSocket:沙盒里的TCP
    
    1. HTTP 的“请求 - 应答”模式不适合开发“实时通信”应用,效率低,难以实现动态页面,所以出现了 WebSocket;
    2. WebSocket 是一个“全双工”的通信协议,相当于对 TCP 做了一层“薄薄的包装”,让它运行在浏览器环境里;
    3. WebSocket 使用兼容 HTTP 的 URI 来发现服务,但定义了新的协议名“ws”和“wss”,端口号也沿用了 80 和 443;
    4. WebSocket 使用二进制帧,结构比较简单,特殊的地方是有个“掩码”操作,客户端发数据必须掩码,服务器则不用;
    5. WebSocket 利用 HTTP 协议实现连接握手,发送 GET 请求要求“协议升级”,握手过程中有个非常简单的认证机制,目的是防止误连接。
    39 | HTTP性能优化面面观(上)
    

    衡量服务器性能的主要指标有三个:吞吐量(requests per second)、并发数(concurrency)和响应时间(time per request)。

    吞吐量就是我们常说的 RPS,每秒的请求次数,也有叫 TPS、QPS,它是服务器最基本的性能指标,RPS 越高就说明服务器的性能越好。

    1. 性能优化是一个复杂的概念,在 HTTP 里可以分解为服务器性能优化、客户端性能优化和传输链路优化;
    2. 服务器有三个主要的性能指标:吞吐量、并发数和响应时间,此外还需要考虑资源利用率;
    3. 客户端的基本性能指标是延迟,影响因素有地理距离、带宽、DNS 查询、TCP 握手等;
    4. 从服务器到客户端的传输链路可以分为三个部分,我们能够优化的是前两个部分,也就是“第一公里”和“中间一公里”;
    5. 有很多工具可以测量这些指标,服务器端有 ab、top、sar 等,客户端可以使用测试网站,浏览器的开发者工具。
    40 | HTTP性能优化面面观(下)
    
    1. 花钱购买硬件、软件或者服务可以直接提升网站的服务能力,其中最有价值的是 CDN;
    2. 不花钱也可以优化 HTTP,三个关键词是“开源”“节流”和“缓存”;
    3. 后端应该选用高性能的 Web 服务器,开启长连接,提升 TCP 的传输效率;
    4. 前端应该启用 gzip、br 压缩,减小文本、图片的体积,尽量少传不必要的头字段;
    5. 缓存是无论何时都不能忘记的性能优化利器,应该总使用 Etag 或 Last-modified 字段标记资源;
    6. 升级到 HTTP/2 能够直接获得许多方面的性能提升,但要留意一些 HTTP/1 的“反模式”。

    相关文章

      网友评论

          本文标题:透视HTTP协议:学习笔记

          本文链接:https://www.haomeiwen.com/subject/eadwjktx.html