美文网首页
(10)分布式系统的基石TCP/IP通信协议

(10)分布式系统的基石TCP/IP通信协议

作者: Mrsunup | 来源:发表于2018-11-11 12:17 被阅读0次

    网络的知识比较复杂。我曾经看过一本书叫做计算机网络自顶向下方法,很可惜自己没有耐心把它看完,只是看了前面的几个章节,涉及了应用层,运输层,以及网络层,后面的章节就没有看了,后面有机会打算看完好好梳理一番。
    下面的只是简单的讲解一下用得到的知识。

    第一节通信协议在分布式架构中的核心应用

    1.网络领域的知识

    协议:tcp、udp、multicast
    io : bio, nio(netty,mina ), ano
    socket
    序列化和反序列化

    2.一个 http 请求,在整个网络中的请求过程

    当应用程序用T C P传送数据时,数据被送入协议栈中, 然后逐个通过每一层直到被当作一串比特流送入网络。其中每一层对收到的数据都要增加一些首部信息

    当目的主机收到一个以太网数据帧时,数据就开始从协议 栈中由底向上升,同时去掉各层协议加上的报文首部。每 层协议盒都要去检查报文首部中的协议标 识, 以确定接收数据的上层协议。这个过程称作分用

    image.png

    3.为什么有了MAC层还要走IP层呢?

    mac地址就好像个人的身份证号,人的身份证号和人户口 所在的城市,出生的日期有关,但是和人所在的位置没有关系,人是会移动的,知道一个人的身份证号,并不能找 到它这个人,mac地址类似,它是和设备的生产者,批次,日期之类的关联起来,知道一个设备的mac,并不能 在网络中将数据发送给它,除非它和发送方的在同一个网 络内。所以要实现机器之间的通信,还需要有ip地址的概念,ip地址表达的是当前机器在网络中的位置,类似于 城市名+道路号+门牌号的概念。通过ip层的寻址,我们能知道按何种路径在全世界任意两台Internet上的的机器间传输数据

    第二节IP 协议和 TCP/UDP 协议

    1.什么是协议

    协议相当于两个需要通过网络通信的程序达成的一种约定, 它规定了报文的交换方式和包含的意义。比如(HTTP)为 了解决在服务器之间传递超文本对象的问题,这些超文本对象在服务器中创建和存储,并由 Web 浏览器进行可视 化,完成用户对远程内容的感知和体验

    2.什么是 IP 协议?

    TCP和UDP是两种最为著名的传输层协议
    他们都是使用I P作为网络层协议。IP协议提供了一组数据报文服 务,每组分组报文都是由网络独立处理和分发,就像寄送 快递包裹一样,为了实现这个功能,每个IP报文必须包 含一个目的地址的字段;就像我们寄送快递都需要写明收 件人信息,但是和我们寄送快递一样,也可能会出现包裹 丢失问题,所以IP协议只是一个“尽力而为”的协议,在网络传输过程中,可能会发生报文丢失、报文顺序打乱,重复发送的情况。IP协议层之上的传输层,提供了两种可以选择的协议,TCP、UPD
    两种协议都是建立在IP层所提供的服务基础上,根据应用程序的不同需求选择不同方式的传输

    • TCP/IP
      TCP协议能够检测和恢复IP层提供的主机到主机的通信中可能发生的报文丢失、重复及其他错误。TCP 提供了一 个可信赖的字节流通道,这样应用程序就不需要考虑这些问题。同时,TCP协议是一种面向连接的协议,在使用TCP 进行通信之前,两个应用程序之间需要建立一个TCP连接, 而这个连接又涉及到两台电脑需要完成握手消息的交换
    • UDP/IP
      UDP协议不会对IP层产生的错误进行修复,而是简单的扩展了 IP 协议“尽力而为”的数据报文服务,使他能够在应用程序之间工作,而不是在主机之间工作,因此使用UDP 协议必须要考虑到报文丢失,顺序混乱的问题

    3.TCP 是如何做到可靠传输的?

    详细的参考博客: https://www.cnblogs.com/Andya/p/7272462.html

    • 三次握手 :(建立可靠的链接)
      由于TCP协议是一种可信的传输协议,所以在传输之 前,需要通过三次握手建立一个连接,所谓的三次握手, 就是在建立TCP链接时,需要客户端和服务端总共发送3个包来确认连接的建立

      image.png
    • TCP 四次挥手协议
      四次挥手表示 TCP 断开连接的时候,要客户端和服务端 总共发送 4 个包以确认连接的断开;客户端或服务器均可主动发起挥手动作(因为 TCP 是一个全双工 协议),在 socket 编程中,任何一方执行 close() 操作即可产生挥手操作

    • 为什么连接的时候是三次握手,关闭的时候却是四次握手?
      三次握手是因为因为当 Server 端收到 Client 端的 SYN 连接请求报文后,可以直接发送 SYN+ACK 报文。其中 ACK报文是用来应答的,SYN 报文是用来同步的。但是关闭连
      接时,当 Server 端收到 FIN 报文时,很可能并不会立即关闭 SOCKET(因为可能还有消息没处理完),所以只能先回复一个 ACK 报文,告诉 Client 端,"你发的 FIN 报文
      我收到了"。只有等到我 Server 端所有的报文都发送完了,我才能发送 FIN 报文,因此不能一起发送。故需要四步握手。

    4. 数据传输过程的流量控制和确认机制 ?

    建立可靠连接以后,就开始进行数据传输了。在通信过程 中,最重要的是数据包,也就是协议传输的数据。如果数 据的传送与接收过程当中出现收方来不及接收的情况,这时就需要对发方进行控制以免数据丢失。
    利用滑动窗口机制可以很方便的在TCP连接上实现对发送方的流量控制
    TCP的窗口单位是字节,不是报文段,发送方的发送 窗口不能超过接收方给出的接收窗口的数值

    • 滑动窗口协议
      滑动窗口(Sliding window)是一种流量控制技术。早期的网络通信中,通信双方不会考虑网络的拥挤情况直接发送 数据。由于大家不知道网络拥塞状况,同时发送数据,导致中间节点阻塞掉包,谁也发不了数据,所以就有了滑动窗口机制来解决此问题;发送和接受方都会维护一个数据帧的序列,这个序列被称作窗口

    简单解释下,发送和接受方都会维护一个数据帧的序列,这个序列被称作窗口。发送方的窗口大小由接受方确定,目的在于控制发送速度,以免接受方的缓存不够大,而导
    致溢出,同时控制流量也可以避免网络拥塞。下面图中的4,5,6 号数据帧已经被发送出去,但是未收到关联的ACK,7,8,9 帧则是等待发送。可以看出发送端的窗口大小为6,这是由接受端告知的。此时如果发送端收到 4 号ACK,则窗口的左边缘向右收缩,窗口的右边缘则向右扩展,此时窗口就向前“滑动了”,即数据帧 10 也可以被发送。
    • 发送窗口
      就是发送端允许连续发送的幀的序号表。 发送端可以不等待应答而连续发送的最大幀数称为发送窗口的尺寸
    • 接收窗口
      接收方允许接收的幀的序号表,凡落在接收窗口内的幀, 接收方都必须处理,落在接收窗口外的幀被丢弃。接收方每次允许接收的幀数称为接收窗口的尺寸

    第三节通信的性能问题

    1.传统的bio模型

    我们发现TCP响应服务器一次只能处理一个客户端请 求,当一个客户端向一个已经被其他客户端占用的服务器 发送连接请求时, 虽然在连接建立后可以向服务端发送数 据,但是在服务端处理完之前的请求之前,却不会对新的客户端做出响应,这种类型的服务器称为“迭代服务器",迭代服务器是按照顺序处理客户端请求,也就是服务端必 \须要处理完前一个请求才能对下一个客户端的请求进行响应, 而Java提供的多线程技术刚好满足这个需求,这个机制使得服务器能够方便处理多个客户 端的请求

    2.TCP 协议的通信过程

    对于TCP通信来说,每个 TCP Socket 的内核中都有一个 发送缓冲区和一个接收缓冲区,TCP 的全双工的工作模式及TCP 的滑动窗口就是依赖于这两个独立的 Buffer 和该 Buffer的填充状态

    接收缓冲区把数据缓存到内核,若应用进程一直没有调用 Socket 的 read 方法进行读取,那么该数据会一直被缓存在接收缓冲区内。不管进程是否读取Socket,对端发来的数据都会经过内核接收并缓存到 Socket 的内核接收缓冲区。

    read所要做的工作,就是把内核接收缓冲区中的数据复制到应用层用户的Buffer里
    进程调用Socket的send发送数据的时候,一般情况下是将数据从应用层用户的 Buffer 里复制到 Socket 的内核发送缓冲区,然后send就会在上层返回。换句话说,send返 回时,数据不一定会被发送到对端。

    Socket 的接收缓冲区被 TCP 用来缓存网络上收到的数据, 一直保存到应用进程读走为止。如果应用进程一直没有读 取,那么Buffer满了以后,出现的情况是:通知对端TCP 协议中的窗口关闭,保证TCP接收缓冲区不会移除,保证 了TCP是可靠传输的。如果对方无视窗口大小发出了超过 窗口大小的数据,那么接收方会把这些数据丢弃

    3.如何使用非阻塞提高性能?

    非阻塞要解决的就是I/O线程与Socket解耦的问题, 因 此,它引入了事件机制来达到解耦的目的。我们可以认为NIO底层中存在一个I/O调度线程,它不断的扫描每个 Socket的缓冲区,当发现写入缓冲区为空的时候,它会产生一个Socket可写事件,此时程序就可以把数据写入到Socket中如果一次写不完,就等待下一次的可写事 件通知;反之,当发现缓冲区里有数据的时候,它会产生 一个Socket可读事件,程序收到这个通知事件就可以从 Socket读取数据了

    4.关于nio

    实际上基于上面讲的传统的BIO模型,一个请求一个线程的方式,如果要涉及到上千个客户端访问时,会产生很多的问题, 比如扩展性、系统资源开销等等。所以我们需要一种方法来轮询一组客户端,来查找哪个连接需要提供服 务,这个就是我们的NIO

    • 缓冲区
      在NIO中,所有数据都是用缓冲区处理,在读取数据的时 候,它是直接读到缓冲区中,在写如数据的时候,也是写到缓冲区。任何时候访问NIO中的数据,都是通过缓冲区进行的操作
    • 通道
      Channel 通道,就像一个自来水管一样,可以通过它读取和写入数据,Channel是全双工的,所以数据是双向流
    • 多路复用
      多路复用器Selector,是NIO的基础,多路复用器提供选择已经就绪的任务的能力,简单来说,`Selector 会不断轮询注册上的Channel,如果某个Channel上 面有新的TCP 连接接入、读、写事件,这个 Channel 就处于就绪状态,会被Selector轮询出来,然后通过SelectionKey可以获取就绪的Channel进行I/O操作;一个多路复用器可以同时 轮询多个 Channel。通过这个机制可以接入成千上万的客户端
      image.png

    第四节组播协议 Multicast

    对于某些信息,多个接受者都可能感兴趣的时候,那么我 们应该怎么解决呢?我们可以向每个接受者单播一个数据 副本,但是如果这样的话,效率会低;而且同样的数据发 送多次,浪费带宽。 解决方案是,我们可以把复制数据包的工作交给网络来做, 而不是由发送者负责。这样无论是多少客户端,都没问题 有两种分发类型,广播(broadcast)和多播(multicast);

    • 广播广播是主机向子网内所有主机发送消息,子网内所有主机都能收到来自某台主机的广播信息,属于点对所有点的通信。广播意味着网络向子网每一个主机都投递一份数据包,不论这些主机是否乐意接收该数据包;

      image.png
    • 多播多播是主机向一组主机发送信息,存在于某个组的所有主机都可以接收到消息,属于点对多点的通信。

    相关文章

      网友评论

          本文标题:(10)分布式系统的基石TCP/IP通信协议

          本文链接:https://www.haomeiwen.com/subject/fldxfqtx.html