微服务协议
互联网协议很多，TCP IP 是基础协议，在它之上有众多应用层协议，这里关注的微服务以什么协议向外提供服务, 即以什么方式, 或者说以什么手段, 通过什么媒介来提供面向用户或者其他服务提供他们所需要的服务。传统的单体服务对外一般提供RPC (远程方法调用)的接口, 对内的组件之间通过方法调用或者线程/进程间通信就行了.
而微服务一般所提供的服务都是节点与节点之间的远程分布式调用， 使用基于流式的TCP 连接或基于数据包的UDP 连接之上的应用层协议
协议都是分层的， OSI的七层网络模型中， 我们关心的是传输层以上, 主要是应用层的协议
协议分类
按照它所针对的语义可以分为
面向资源
比如 REST， 主要是对于资源的存取和修改
面向命令
比如SOAP, RMI，RPC ， 主要是指对于方法， 命令及过程的远程调用
面向事件
比如 XMPP， JMS，AMQP， 主要是对于消息的传递和转发
按照远程调用协议的编码可以分为
文本协议
例如 HTTP + JSON/XML， SIP
二进制协议
例如 WebSocket + BSon/Protobuf
按照协议的用途可以分为
信令及控制协议
例如 SIP, SDP, Jingle, ROAP
媒体传输协议
例如 HTTP, RTP, RTMP
安全相关协议
例如 TLS, DTLS, oAuth2
按交互方式分类
基本上是 Request 请求/ Response 响应 方式, 这其中的响应有所区别, 主要就是看是不是最终响应
请求/搞定
client->server: POST /calls
server-->client: 201 created
或者
client->server: send request PDU
server-->client: send response PDU
请求/收到
这时候, 一般客户端只是收到一个接受的响应, 最终结果需要客户端轮询和给一个回调的地址
client->server: POST /orders (including callbackUrl)
server-->client: 202 accepted
client->server: GET /orders/tasks/taskid
server->client: 200 OK (state: doing)
server->client: POST /callbackurl
client->server: 200 OK (state:finished)
如果是基于长连接的协议, 比如 WebSocket, 应用层的TCP协议包, 这种方式用得最多
client->server: send PDU(request)
server-->client: reply PDU(ack)
server->client: send PDU (result)
server->client: reply PDU (ack)
请求/协商/确认
典型的 SIP 会话搭建流程
client->server: SIP Invite
server-->client: SIP 200 OK
server->client: SIP Ack
Pub/sub 发布/订阅
image.png
client1->broker: subscribe
broker->client1: ok
client2->broker: publish event
broker-->client2: ok
broker->client1: event
client1-->broker: ok
按数据传输格式分类
任何一个服务会使用一个协议栈, 从下到上采用相应的协议, 上层服务应用协议所使用的数据传输格式很多，但无非表示为文本和二进制格式
HTTP 是互联网的最主要的协议, 也是微服务中最流行的协议， 在它之上, 又有 RPC (Remote Procedure Call 远程过程调用) 和 REST (Representational state transfer 表述性状态转移) 两种风格.
前者多使用 HTTP + XML(SOAP), 后者多使用 HTTP + JSON(REST)
WebSocket + Protobuf 也是一个比较流行的做法, 发挥了长连接双向通讯的优势, 并且编解码速度比较快
文本格式
常用的有
- 键值对
- Json
- Xml
二进制格式
常用的有
- Proto buffer
- BSON
- Thrift
- PDU
基于 TCP 的流式传输, 在数据包之间必需有易于识别的分隔符, 文本格式中用得最多的就是 \r\n, 或者类似于 xml/json 之类的 tag, 成对的 {} 或 []. 二进制格式中一般会在包头指定长度, 以便分割, 例如 SMTP 和 HTTP 协议,
$ curl https://tools.ietf.org/rfc/rfc768.txt -vvv
* Trying 4.31.198.61...
* TCP_NODELAY set
* Connected to tools.ietf.org (4.31.198.61) port 443 (#0)
* TLS 1.2 connection using TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384
* Server certificate: *.tools.ietf.org
* Server certificate: Starfield Secure Certificate Authority - G2
* Server certificate: Starfield Root Certificate Authority - G2
> GET /rfc/rfc768.txt HTTP/1.1
> Host: tools.ietf.org
> User-Agent: curl/7.54.0
> Accept: */*
>
< HTTP/1.1 200 OK
< Date: Sun, 20 May 2018 02:29:29 GMT
< Server: Apache/2.2.22 (Debian)
< Last-Modified: Thu, 15 Oct 1992 21:56:01 GMT
< ETag: "108828d-1708-28e1893a75e40"
< Accept-Ranges: bytes
< Content-Length: 5896
< Vary: Accept-Encoding
< Strict-Transport-Security: max-age=3600
< X-Frame-Options: SAMEORIGIN
< X-Xss-Protection: 1; mode=block
< X-Content-Type-Options: nosniff
< X-Clacks-Overhead: GNU Terry Pratchett
< Content-Type: text/plain; charset=UTF-8
<
RFC 768 J. Postel
...
UDP 本身就是以数据包为单位的, 一个一个包收就好了, 不过一般在包中会承载序号信息, 以便对丢包或乱序进行处理, 之后我们来详细分析下文本协议的代表 HTTP, 以及二进制协议的代表 RTP
协议分析
协议标准理解
分析协议的第一步是阅读相应的协议标准 RFC(Request for Comments), 互联网的核心是 TCP/IP 协议簇
- Internet Protocol (IP) -- RFC 791(https://tools.ietf.org/rfc/rfc791.txt)
就OSI模型而言，IP是网络层协议。 它在应用程序之间提供数据报服务，支持TCP和UDP
packet header + payload 是基本格式,
IP packet 的包头为20个字节, IP 包头中包含 IP源地址, 目的地址, TTL 存活时间 (所经过路由器的跳数)
上层协议不必关心下层协议, 但是是知道IP是3层协议, 2层所使用的数据链路协议如果是以太网, 以最大传输单元(MTU)为 1500 字节, 如果你的包的长度超过这个长度, 网络设备会将这个IP数据包分片传输, 划分成多个 IP packet
- Transmission Control Protocol (TCP) - RFC 793(https://tools.ietf.org/rfc/rfc793.txt)
TCP是一种传输层协议。 它在应用程序之间提供可靠的虚拟电路连接; 即在数据传输开始之前建立连接。 数据发送时没有错误或重复，并且按照发送的顺序接收数据。 没有对数据施加任何界限; TCP将数据视为一个字节流。
TCP 包头中包含源端口, 目的端口, 序列号, 确认号, 类型标记, 窗口大小, 校验和等.
TCP是一个很复杂和强大的协议
- User Datagram Protocol (UDP) - RFC 768(https://tools.ietf.org/rfc/rfc768.txt)
UDP也是一种传输层协议，是TCP的一种替代方案。 它在应用程序之间提供了不可靠的数据报连接。 数据通过链路传输; 没有端到端的连接。 该服务不提供任何担保。 数据可能丢失或重复，数据报可能无序到达。
UDP 包头包含源端口, 目的端口, 内容长度, 校验和, 它非常简单, 所以你可以发现基于它之上的众多协议会建立许多类似于TCP的序号, 标记等机制
协议包分析
第二步就是抓包, 最常用的是 tcpdump 和 wireshark, 通常在服务器端用 tcpdump 抓完包后, 用 wireshark 打开抓包文件 *. pcap 进行详细分析
这里还推荐一个 python 工具 scapy , 它是一个功能强大的基于Python的交互式数据包操作程序和库。
可以从 https://github.com/secdev/scapy 下载, 或者直接用 pip 安装
pip install scapy
pip install matplotlib
pip install pyx
它能够伪造或解码大量协议的数据包，在线上发送它们，捕获它们，使用pcap文件存储或读取它们，匹配请求和回复等等。 它旨在通过使用默认值来实现快速数据包原型设计。
简单用它来看来 IP 和 TCP 的包头
$ scapy
>>> pkt =IP(ttl=10, dst="192.168.1.1")/TCP(flags="SF")
>>> pkt.summary()
'IP / TCP 10.79.102.90:ftp_data > 192.168.1.1:http FS'
>>> pkt.show()
###[ IP ]###
version= 4
ihl= None
tos= 0x0
len= None
id= 1
flags=
frag= 0
ttl= 10
proto= tcp
chksum= None
src= 10.79.102.90
dst= 192.168.1.1
\options\
###[ TCP ]###
sport= ftp_data
dport= http
seq= 0
ack= 0
dataofs= None
reserved= 0
flags= FS
window= 8192
chksum= None
urgptr= 0
options= {}
网友评论