网络编程

什么是网络编程

  网络编程最主要的工作就是在发送端把信息通过规定好的协议进行组装包，在接收端按照规定好的协议把包进行解析，从而提取出
对应的信息，达到通信的目的。

软件开发的架构

我们经常使用的程序之间的通信大致分为两种:

1. qq,微信,网盘属于需要安装的桌面应用
2. 百度,知乎,搜狗等需要用浏览器访问的web类.

这两种通信方式就是两种软件开发架构.

c/s架构

C/S的全称是client和serve,中文就是客户端和服务端架构,这种架构也是从用户层面(物理层面)来划分的.这里的客户端是需要用户在电脑或者手机上先安装才能运行的.

image.png

B/S架构

B/S就是Browser与Server 中文意思就是:浏览器端与服务端架构,这种架构是从用户层面来划分的.
Browser浏览器,其实也是一种Client客户端,但是不用安装什么应用程序.

image.png

网络基础

早期的时候两个计算机要通信的话需要一根网线连接,称为联机

image.png

但是这种方法只能是一对一的交流,不能同时多个机子交流所以后边出现了以太网:局域网与交换机

image.png

广播

  广播是主机一对多的一种通讯模式,一台主机要发送一条消息,网络会不选择的把这条信息都发给所有电脑,就像有限电视一样.在数据网络中其被限制在二层交换机的局域网范围内,禁止广播数据穿过路由器.

ip地址与ip协议

规定万罗地址的协议叫ip协议,它定义的地址称之为ip地址,广泛采用的是V4就是ipv4的版本,它规定网络地址由32位2进制表示.
范围:0.0.0.0-255.255.255.255

mac地址

在每块网卡出厂时都会烧制上世界上唯一的mac地址,长度为48位的2进制,通常由12位16进制数表示.是发送端和接受端的地址.

ARP协议

arp协议是查询IP地址和MAC地址的对应关系,被称为地址解析协议,是根据IP地址获取物理地址的一个TCP/ip协议.

TCP协议和UDP协议

应用程序间怎么通信呢?计算机之间的通信可以靠IP地址和MAC地址来帮我们确定唯一的一台机器,TCP和UDP就是帮我们找到一台机器上的软件.

端口

  一台拥有IP地址的主机可以提供很多服务，这些服务虽然是同一个IP但是会有端口来区分不同服务的。

TCP协议

  当应用程序希望通过程序通信时，它会发送一个通信请求，这个请求必须送到一个确切的地方，在达成共识返回一个已经连接时，TCP将在两个应用程序之间建立一个双全工的通信。
当要结束时，双方都返回一个断开连接的请求和回执，一共四条命令。

image.png

TCP三次握手

TCP是因特网中的传输层协议，使用三次握手协议建立连接。当主动方发出SYN连接请求后，等待对方回答·SYN+ACK[1]·，并最终对对方的 SYN 执行 ACK 确认。这种建立连接的方法可以防止产生错误的连接。[1]
TCP三次握手的过程如下：
客户端发送·SYN（SEQ=x）·报文给服务器端，进入SYN_SEND状态。
服务器端收到SYN报文，回应一个·SYN （SEQ=y）··ACK(ACK=x+1）·报文，进入·SYN_RECV·状态。
客户端收到服务器端的SYN报文，回应一个·ACK(ACK=y+1）·报文，进入Established状态。
三次握手完成，TCP客户端和服务器端成功地建立连接，可以开始传输数据了。

TCP四次挥手

建立一个连接需要三次握手，而终止一个连接要经过四次握手，这是由TCP的半关闭（half-close）造成的。
(1) 某个应用进程首先调用close，称该端执行“主动关闭”（active close）。该端的TCP于是发送一个FIN分节，表示数据发送完毕。
(2) 接收到这个FIN的对端执行 “被动关闭”（passive close），这个FIN由TCP确认。
注意：FIN的接收也作为一个文件结束符（end-of-file）传递给接收端应用进程，放在已排队等候该应用进程接收的任何其他数据之后，因为，FIN的接收意味着接收端应用进程在相应连接上再无额外数据可接收。
(3) 一段时间后，接收到这个文件结束符的应用进程将调用close关闭它的套接字。这导致它的TCP也发送一个FIN。
(4) 接收这个最终FIN的原发送端TCP（即执行主动关闭的那一端）确认这个FIN。[1]
既然每个方向都需要一个FIN和一个ACK，因此通常需要4个分节。
注意：
(1) “通常”是指，某些情况下，步骤1的FIN随数据一起发送，另外，步骤2和步骤3发送的分节都出自执行被动关闭那一端，有可能被合并成一个分节。[2]
(2) 在步骤2与步骤3之间，从执行被动关闭一端到执行主动关闭一端流动数据是可能的，这称为“半关闭”（half-close）。
(3) 当一个Unix进程无论自愿地（调用exit或从main函数返回）还是非自愿地（收到一个终止本进程的信号）终止时，所有打开的描述符都被关闭，这也导致仍然打开的任何TCP连接上也发出一个FIN。
无论是客户还是服务器，任何一端都可以执行主动关闭。通常情况是，客户执行主动关闭，但是某些协议，例如，HTTP/1.0却由服务器执行主动关闭。[2]

UDP协议

当应用程序希望通过UDP与一个应用程序通信时，传输数据之前源端和终端不建立连接。
　　当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。

TCP和UDP对比

TCP---传输控制协议,提供的是面向连接、可靠的字节流服务。当客户和服务器彼此交换数据前，必须先在双方之间建立一个TCP连接，之后才能传输数据。TCP提供超时重发，丢弃重复数据，检验数据，流量控制等功能，保证数据能从一端传到另一端。
UDP---用户数据报协议，是一个简单的面向数据报的运输层协议。UDP不提供可靠性，它只是把应用程序传给IP层的数据报发送出去，但是并不能保证它们能到达目的地。由于UDP在传输数据报前不用在客户和服务器之间建立一个连接，且没有超时重发等机制，故而传输速度很快
TCP（Transmission Control Protocol）可靠的、面向连接的协议（eg:打电话）、传输效率低全双工通信（发送缓存&接收缓存）、面向字节流。使用TCP的应用：Web浏览器；电子邮件、文件传输程序。
UDP（User Datagram Protocol）不可靠的、无连接的服务，传输效率高（发送前时延小），一对一、一对多、多对一、多对多、面向报文，尽最大努力服务，无拥塞控制。使用UDP的应用：域名系统 (DNS)；视频流；IP语音(VoIP)。

image.png

osi七层模型

互联网的核心就是由一堆协议组成，协议就是标准，比如全世界人通信的标准是英语，如果把计算机比作人，互联网协议就是计算机界的英语。所有的计算机都学会了互联网协议，那所有的计算机都就可以按照统一的标准去收发信息从而完成通信了。

image.png image.png image.png image.png

python网络编程

Python提供了两个级别访问的网络服务:

• 低级别的网络服务支持基本的socket,它提供了标准的BSD Socket API,可以访问底层的操作系统Socket接口的全部方法.
• 高级别的网络服务模块socketserver,它提供了服务器中心类,可以简化网络服务器的开发.

什么是socket

Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。

socket层

image.png

socket（）函数

Python 中，我们用 socket（）函数来创建套接字，语法格式如下：

socket.socket([family[, type[, proto]]])

参数

• family:套接字家族可以使AF_UNIX或者AF_INET
• type: 套接字类型可以根据是面向连接的还是非连接分为SOCK_STREAM或SOCK_DGRAM
• protocol:一般不填默认0

socket对象内建的方法

函数	描述
s.bind()	绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。
s.listen()	开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。
s.accept()	被动接受TCP客户端连接,(阻塞式)等待连接的到来
客户端套接字
s.connect()	主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。
s.connect_ex()	connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv()	接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。
s.send()	发送TCP数据，将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall()	完整发送TCP数据，完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
s.recvfrom()	接收UDP数据，与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto()	发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数
s.close()	关闭套接字
s.getpeername()	返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。
s.getsockname()	返回套接字自己的地址。通常是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。
s.makefile()	创建一个与该套接字相关连的文件

socket的使用

基于TCP连接

tcp基于的连接,必须先启动服务端,再去启动客服端

server端 服务器端

import socket
sk = socket.socket()
sk.bind(('127.0.0.1',8898))  #把地址绑定到套接字
sk.listen()          #监听链接
conn,addr = sk.accept() #接受客户端链接
ret = conn.recv(1024)  #接收客户端信息
print(ret)       #打印客户端信息
conn.send(b'hi')        #向客户端发送信息
conn.close()       #关闭客户端套接字
sk.close()        #关闭服务器套接字(可选

client端 客户端

import socket
sk = socket.socket()           # 创建客户套接字
sk.connect(('127.0.0.1',8898))    # 尝试连接服务器
sk.send(b'hello!')
ret = sk.recv(1024)         # 对话(发送/接收)
print(ret)
sk.close()            # 关闭客户套接字

如果在重启服务器的时候碰到下面情况:

image.png

解决方案

#加入一条socket配置，重用ip和端口
import socket
from socket import SOL_SOCKET,SO_REUSEADDR
sk = socket.socket()
sk.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加
sk.bind(('127.0.0.1',8898))  #把地址绑定到套接字
sk.listen()          #监听链接
conn,addr = sk.accept() #接受客户端链接
ret = conn.recv(1024)   #接收客户端信息
print(ret)              #打印客户端信息
conn.send(b'hi')        #向客户端发送信息
conn.close()       #关闭客户端套接字
sk.close()        #关闭服务器套接字(可选)

基于UDP协议的socket

udp是无链接的，启动服务之后可以直接接受消息，不需要提前建立链接

server端

import socket
udp_sk = socket.socket(type=socket.SOCK_DGRAM)   #创建一个服务器的套接字
udp_sk.bind(('127.0.0.1',9000))        #绑定服务器套接字
msg,addr = udp_sk.recvfrom(1024)
print(msg)
udp_sk.sendto(b'hi',addr)                 # 对话(接收与发送)
udp_sk.close()                         # 关闭服务器套接字

client端

import socket
ip_port=('127.0.0.1',9000)
udp_sk=socket.socket(type=socket.SOCK_DGRAM)
udp_sk.sendto(b'hello',ip_port)
back_msg,addr=udp_sk.recvfrom(1024)
print(back_msg.decode('utf-8'),addr)