美文网首页
69 netty 深度源码解读

69 netty 深度源码解读

作者: 滔滔逐浪 | 来源:发表于2020-11-07 09:50 被阅读0次

    1,同步与异步的/阻塞与非阻塞IO概念
    2,linux 用户态与内核态之间的区别
    3, 从linux内核角度分析非阻塞IO的原理
    4,内核角度分析:读取与IO的原理
    5,accept()与read()方法之间的区别
    6,使用BIO通讯存在哪些优缺点
    7,简单模拟IO多路复用底层实现原理
    8, IO 多路复用select/poll/epoll时间复杂度对比

    BIO,NIO,AIO 模型
    输入IO 与输出IO 原理
    内核态:cpu可以访问内存的所有数据,包括外围设备,例如硬盘,网卡;
    用户态: (独立创建应用程序)只能受限的访问内存,且不允许访问外围设备。占用cpu能力被剥夺,cpu资源可以被其他程序获取

    image.png

    1,BIO(Blocking I O) 同步阻塞模型,一个线程对应一个客户端连接
    应用场景:
    BIO 方式适用于连接数目比较小的且固定的架构,这种方式对服务器资源要求比较高,但是程序简单容易理解。
    2,NIO(Non Blocking IO)同步非阻塞
    服务器实现模式为一个线程可以处理多个请求(连接),客户端发送的连接请求都会注册到多路复用器selector上,多路复用器轮询到连接有IO请求就进行处理
    应用场景:
    NIo方式适用于连接数目多且比较短(轻操作)的架构,比如聊天服务器,弹幕系统。服务器间通讯,编程比较复杂。jdk1.4开始。
    3,AIO(NIO2.0)异步非阻塞
    由操作系统完成后回调通知服务端程序启动线程去处理,一般适用于连接数较多且连接较长的应用。是在NIO的基础上进一步封装的。

    应用场景:
    AIO 方式适用于连接数目多,且连接比较长(重操作)的架构。jdk7开始支持

    同步和异步的区别:
    同步也就是程序从上到下实现执行;
    异步是重新开启一个新的分支,相互不影响:

    站在http协议上分析同步与异步的区别:
    我们的http协议请求默认情况下同步形成调用,如果调用过程中非常耗时的情况下 客户端等待时间就非常长,这种形式我们可以理解阻塞式。

    解决办法: 耗时的代码我们可以使用多线程或者MQ实现处理,但是不能立马获取结果: 客户端可以主动查询:

    image.png image.png

    阻塞和非阻塞的区别:
    阻塞: 如果我没有获取到结果的情况下,当线程从运行状态切换到阻塞状态 ,内核角度分析: 用户空间切换到内核空间。
    非阻塞: 如果我没有获取到结果的情况下,当前的线程不会阻塞。

    image.png

    BIO(Blocking IO)同步阻塞模型。
    一个线程处理一个客户端请求:
    缺点:
    1,IO代码里read操作是阻塞操作,如果获取不到数据的情况下,则会阻塞,如果线程使用过多的情况下,非常消耗cpu资源:
    应用场景:
    BIO 方式适用于连接数目比较小且固定的架构,这种服务器资源要求比较高;

    image.png

    BIO 客户端:

    package com.taotao.netty.bio;
    
    import java.io.IOException;
    import java.net.Socket;
    
    /**
     *@author tom
     *Date  2020/11/8 0008 10:29
     *
     */
    public class SocketBioClient {
    
        public static void main(String[] args) throws IOException {
            Socket socket=new Socket("127.0.0.1",9001);
            //向服务端发送数据
            socket.getOutputStream().write("来演示下同步阻塞Bio".getBytes()
            );
            socket.getOutputStream().flush();
            System.out.println("向服务端发送数据结束");
     byte[] bytes=new byte[1024];
     //接收服务端回传的数据。\
            socket.getInputStream().read(bytes);
            System.out.println("接收到服务端的数据:"+new String(bytes));
            socket.close();
        }
    }
    
    
    
    

    BIO 服务端

    package com.taotao.netty.bio;
    
    import java.io.IOException;
    import java.net.ServerSocket;
    import java.net.Socket;
    
    /**
     *@author tom
     *Date  2020/11/8 0008 10:37
     *
     */
    public class SocketBioServer {
        public static void main(String[] args) throws IOException {
            ServerSocket serverSocket=new ServerSocket(9001);
            while (true){
                System.out.println("服务端正在等待连接中....");
                //阻塞方法 如果没有客户端与服务器端建立连接时,该方法会阻塞等待
                final Socket socket=serverSocket.accept();
                System.out.println("有客户端和我连接了");
                //如果不使用异步线程处理接受io操作的情况下,有可能会阻塞等待 无法接受新的连接请求;
          new Thread(()->{
             try {
                 handler(socket);
             }catch (Exception e){
                 e.printStackTrace();
             }
          }).start();
    
            }
    
        }
    
        private static void handler(Socket socket) throws IOException {
            System.out.println("线程id="+Thread.currentThread());
            byte[] bytes=new byte[1024];
            System.out.println("开始read..");
            //接收客户端的数据,如果没有读取到客户端数据时,该方法也会阻塞
            int read=socket.getInputStream().read(bytes);
            System.out.println("read结束");
            if(read!=-1){
                System.out.println("接收到客户端的数据:"+new String(bytes,0,read));
                System.out.println("线程id=="+Thread.currentThread().getId());
            }
            socket.getOutputStream().write("效果演示完毕".getBytes());
            socket.getOutputStream().flush();
        }
    
    
    }
    
    
    

    NIO(Non Blocking Io)同步非阻塞
    NIO同步非阻塞的原理: 多个客户端发送连接请求注册到(多路复用器)selector中。多路复用器使用轮询机制实现检测每个io请求有数据就进行处理。

    i/o多路复用底层一般用的linuxAPI(select,poll,epoll)来实现;


    image.png

    NIO 有三大核心组件:channel(通道),buffer(缓冲区),selector(选择器)

    1,channel(通道):称之为通道。和io相连,通信双方进行数据交流的通道,需要和buffer结合使用。

    2,buffer(缓冲区): 对数据的读取/写入需要使用buffer,buffer 本质就是一个数组。

    3,selector(选择器): Io多路复用 一个线程Thread使用选择器Selector通过轮询的方式去监听多个通道channnel上的事件,从而让一个线程可以处理多个事件。
    简单模拟NIO 底层代码实现。

    package com.taotao.netty.nio;
    
    import java.net.InetSocketAddress;
    import java.net.Socket;
    import java.nio.ByteBuffer;
    import java.nio.channels.ServerSocketChannel;
    import java.nio.channels.SocketChannel;
    import java.nio.charset.Charset;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     *@author tom
     *Date  2020/11/8 0008 14:22
     *
     */
    public class SimulationNioTcpServer {
        /**
         * 保存SocketChannel
         */
        private static List<SocketChannel> listSocketChannel = new ArrayList<>();
        /**
         * 缓冲区大小
         */
        private static ByteBuffer byteBuffer = ByteBuffer.allocate(512);
    
        public static void main(String[] args) {
            try {
                // 1.创建一个ServerSocketChannel
                ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
                // 2. 绑定地址
                ServerSocketChannel bind = serverSocketChannel.bind(new InetSocketAddress(8080));
                // 3.设置非阻塞模式
                serverSocketChannel.configureBlocking(false);
                while (true) {
                    // 4.等待建立连接  如果设置非阻塞的情况下,如果没有获取连接的情况下直接返回null,如果建立连接之后返回socketChannel
                    // 建立三次握手
                    SocketChannel socketChannel = serverSocketChannel.accept();
                    // 5. 如果socketChannel 不为空的情况下,则将该连接保存起来。
                    if (socketChannel != null) {
                        // 设置该socketChannel通道为fasle
                        socketChannel.configureBlocking(false);
                        listSocketChannel.add(socketChannel);
                    }
                    // 循环SocketChannel,检查每个SocketChannel中数据有传输数据
                    for (SocketChannel scl : listSocketChannel) {
                        try {
                            // 6.以缓冲区方式读取
                            int read = scl.read(byteBuffer);
                            if (read > 0) {
                                byteBuffer.flip();
                                // 转换格式为中文的格式
                                Charset charset = Charset.forName("UTF-8");
                                String receiveText = charset.newDecoder().decode
                                        (byteBuffer.asReadOnlyBuffer()).toString();
                                System.out.println("receiveText:" + receiveText);
                            }
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                    }
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
    
    
    

    选择器IO 多路复用底层原理:
    IO 多路复用原理 一个线程Thread 使用选择器Selector 通过轮询的方式去监听多个通道Channnel上的事件,从而让一个线程可以处理多个事件。
    I/o 多路复用底层一般用的linuxAPI(select,poll,epoll)来实现;

    image.png

    1,使用select的情况下,底层采用该数组的方式存放,每次调用遍历的时间复杂度就是为o(n),有可能产生空轮询,比如保存1万个连接,最终只有一个连接有传输数据。

    2,使用poll 底层采用链表结构存放,每次调用遍历的时间复杂度就是为o(n)
    Poll 和select之间的区别不是很大: select监视器单个进程可监视的fd数量被限制,可以通过cat、proc、sys/fs、file-max,poll是没有监视的fd数量限制。

    linux服务器中创建Socket服务器端,单个select 进程可监视的fd(连接数据)限制

    3,epoll 采用事件通知回调方式,避免空轮休,时间复杂度o(1)
    for(fds){
    文件描述符,数据准备好的情况下,在以事件回调的方式通知给服务器端。
    }

    注意: windows 操作系统是没有epoll,只有linux 系统才有epoll

    Nginx、redis nio模型

    redis 官网中是否有提供windows redis 大牛人物改写Redis源码能够使用
    Select 选择实现。

    相关文章

      网友评论

          本文标题:69 netty 深度源码解读

          本文链接:https://www.haomeiwen.com/subject/niutbktx.html