NIO学习

作者: 大数据奋进中 | 来源:发表于2018-07-23 17:08 被阅读0次

背景知识

同步、异步、阻塞、非阻塞

首先,这几个概念非常容易搞混淆,但NIO中又有涉及,所以总结一下。

同步:API调用返回时调用者就知道操作的结果如何了(实际读取/写入了多少字节)。

异步:相对于同步,API调用返回时调用者不知道操作的结果,后面才会回调通知结果。

阻塞:当无数据可读,或者不能写入所有数据时,挂起当前线程等待。

非阻塞:读取时,可以读多少数据就读多少然后返回,写入时,可以写入多少数据就写入多少然后返回。

RPC机制采用的是java NIO和动态代理(参考博客:https://www.jianshu.com/p/c6626aff1d97 ) 的方式。今天我们来看一下java NIO。

首先我们要清楚什么是RPC?

一  . 什么是RPC

RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。

RPC原理图

运行时,一次客户机对服务器的RPC调用,其内部操作大致有如下十步:

1.调用客户端句柄;执行传送参数

2.调用本地系统内核发送网络消息

3.消息传送到远程主机

4.服务器句柄得到消息并取得参数

5.执行远程过程

6.执行的过程将结果返回服务器句柄

7.服务器句柄返回结果,调用远程系统内核

8.消息传回本地主机

9.客户句柄由内核接收消息

10.客户接收句柄返回的数据

二.java NIO 和阻塞I/O的区别 

1. 阻塞I/O通信模型 

使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:

File.read(fileDesc, buf, len);

Socket.send(socket, buf, len);

会有较大的性能开销,主要表现在一下两方面:

1.上下文切换(context switch), 此处有4次用户态和内核态的切换

2. Buffer内存开销, 一个是应用程序buffer, 另一个是系统读取buffer以及socket buffer

其运行示意图如下 


传统I/O读写文件

1)先将文件内容从磁盘中拷贝到操作系统buffer

2)再从操作系统buffer拷贝到程序应用buffer

3)从程序buffer拷贝到socket buffer

4)从socket buffer拷贝到协议引擎.

2.java NIO原理及通信模型 

NIO技术省去了将操作系统的read buffer拷贝到程序的buffer, 以及从程序buffer拷贝到socket buffer的步骤, 直接将 read buffer 拷贝到 socket buffer. java 的 FileChannel.transferTo() 方法就是这样的实现, 这个实现是依赖于操作系统底层的sendFile()实现的.

publicvoid transferTo(long position, long count, WritableByteChannel target);

他的底层调用的是系统调用sendFile()方法

sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

NIO读写文件

Java NIO是在jdk1.4开始使用的,它既可以说成“新I/O”,也可以说成非阻塞式I/O。下面是java NIO的工作原理:

1. 由一个专门的线程来处理所有的 IO 事件,并负责分发。 

2. 事件驱动机制:事件到的时候触发,而不是同步的去监视事件。 

3. 线程通讯:线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。 

下面贴出java NIO的工作原理图:

java NIO的工作原理图

(注:每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。)

Java NIO的服务端只需启动一个专门的线程来处理所有的 IO 事件,这种通信模型是怎么实现的呢?呵呵,我们一起来探究它的奥秘吧。java NIO采用了双向通道(channel)进行数据传输,而不是单向的流(stream),在通道上可以注册我们感兴趣的事件。一共有以下四种事件:

事件名对应值

服务端接收客户端连接事件SelectionKey.OP_ACCEPT(16)

客户端连接服务端事件SelectionKey.OP_CONNECT(8)

读事件SelectionKey.OP_READ(1)

写事件SelectionKey.OP_WRITE(4)

服务端和客户端各自维护一个管理通道的对象,我们称之为selector,该对象能检测一个或多个通道 (channel) 上的事件。我们以服务端为例,如果服务端的selector上注册了读事件,某时刻客户端给服务端发送了一些数据,阻塞I/O这时会调用read()方法阻塞地读取数据,而NIO的服务端会在selector中添加一个读事件。服务端的处理线程会轮询地访问selector,如果访问selector时发现有感兴趣的事件到达,则处理这些事件,如果没有感兴趣的事件到达,则处理线程会一直阻塞直到感兴趣的事件到达为止。

java NIO的通信模型示意图

二.java NIO服务端和客户端代码实现 

为了更好地理解java NIO,下面贴出服务端和客户端的简单代码实现。

服务端:

Java代码

import java.io.IOException;

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.channels.SelectionKey;

import java.nio.channels.Selector;

import java.nio.channels.ServerSocketChannel;

import java.nio.channels.SocketChannel;

import java.util.Iterator;

/**

* 服务端

*/

public class NIOServer {

    //通道管理器

    private Selector selector;

    /**

    * 获得一个ServerSocket通道,并对该通道做一些初始化工作

    */

    public void initServer(int port) throws IOException {

        //获得一个ServerSocket通道,相当于传统IO中的ServerSocket

        ServerSocketChannel serverSocketChannel=ServerSocketChannel.open();

        //设置通道为非阻塞

        serverSocketChannel.configureBlocking(false);

        //将该通道对应的ServerSocket绑定到port端口

        serverSocketChannel.socket().bind(new InetSocketAddress(port));

        //获得一个通道管理器

        this.selector=Selector.open();

        //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_ACCEPT事件,注册该事件后,

        //当该事件到达时,selector.select()会返回,如果该事件没到达selector.select()会一直阻塞。

        serverSocketChannel.register(selector,SelectionKey.OP_ACCEPT);

    }

    /**

    * 采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理

    * @throws IOException

    */

    public void listen() throws IOException {

        System.out.println("服务端启动成功");

        //轮询访问selector

        while (true){

            //当注册事件到达时方法返回,否则一直阻塞

            selector.select();

            //获得selector中选中的项的迭代器,选中的项为注册的事件

            Iterator iterator=this.selector.selectedKeys().iterator();

            while (iterator.hasNext()){

                SelectionKey key= (SelectionKey) iterator.next();

                // 删除已选的key,以防重复处理

                iterator.remove();

                //客户端请求连接事件

                if (key.isAcceptable()){

                    ServerSocketChannel serverSocketChannel= (ServerSocketChannel) key.channel();

                    //获得和客户端连接的通道

                    SocketChannel channel=serverSocketChannel.accept();

                    //设置成非阻塞

                    channel.configureBlocking(false);

                    //在这里可以给客户端发送信息哦

                    channel.write(ByteBuffer.wrap(new String("向客户端发送了一条信息").getBytes()));

                    //在和客户端连接成功之后,为了可以接收到客户端的信息,需要给通道设置读的权限。

                    channel.register(this.selector, SelectionKey.OP_READ);

                }else if (key.isReadable()){

                    read(key);

                }

            }

        }

    }

    /**

    * 处理读取客户端发来的信息 的事件

    * @param key

    */

    private void read(SelectionKey key) throws IOException {

        // 服务器可读取消息:得到事件发生的Socket通道

        SocketChannel channel = (SocketChannel) key.channel();

        // 创建读取的缓冲区

        ByteBuffer buffer=ByteBuffer.allocate(10);

        channel.read(buffer);

        byte[] data=buffer.array();

        String msg=new String(data).trim();

        System.out.println("服务端收到的消息:"+msg);

        ByteBuffer outBuffer=ByteBuffer.wrap(msg.getBytes());

        channel.write(outBuffer);// 将消息回送给客户端

    }

    /**

    * 启动服务端测试

    * @throws IOException

    */

    public static void main(String[] args) throws IOException {

        NIOServer server = new NIOServer();

        server.initServer(8000);

        server.listen();

    }

}

客户端

import java.io.IOException;

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.channels.SelectionKey;

import java.nio.channels.Selector;

import java.nio.channels.SocketChannel;

import java.util.Iterator;

public class NIOClient {

    //通道管理器

    private Selector selector;

    /**

    * 获得一个Socket通道,并对该通道做一些初始化的工作

    * @param ip 连接的服务器的ip

    * @param port  连接的服务器的端口号

    * @throws IOException

    */

    public void initClient(String ip,int port) throws IOException {

        // 获得一个Socket通道

        SocketChannel channel = SocketChannel.open();

        // 设置通道为非阻塞

        channel.configureBlocking(false);

        // 获得一个通道管理器

        this.selector = Selector.open();

        // 客户端连接服务器,其实方法执行并没有实现连接,需要在listen()方法中调

        //用channel.finishConnect();才能完成连接

        channel.connect(new InetSocketAddress(ip,port));

        //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_CONNECT事件。

        channel.register(selector, SelectionKey.OP_CONNECT);

    }

    /**

    * 采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理

    * @throws IOException

    */

    @SuppressWarnings("unchecked")

    public void listen() throws IOException {

        // 轮询访问selector

        while (true) {

            selector.select();

            // 获得selector中选中的项的迭代器

            Iterator ite = this.selector.selectedKeys().iterator();

            while (ite.hasNext()) {

                SelectionKey key = (SelectionKey) ite.next();

                // 删除已选的key,以防重复处理

                ite.remove();

                // 连接事件发生

                if (key.isConnectable()) {

                    SocketChannel channel = (SocketChannel) key

                            .channel();

                    // 如果正在连接,则完成连接

                    if(channel.isConnectionPending()){

                        channel.finishConnect();

                    }

                    // 设置成非阻塞

                    channel.configureBlocking(false);

                    //在这里可以给服务端发送信息哦

                    channel.write(ByteBuffer.wrap(new String("向服务端发送了一条信息").getBytes()));

                    //在和服务端连接成功之后,为了可以接收到服务端的信息,需要给通道设置读的权限。

                    channel.register(this.selector, SelectionKey.OP_READ);

                    // 获得了可读的事件

                } else if (key.isReadable()) {

                    read(key);

                }

            }

        }

    }

    /**

    * 处理读取服务端发来的信息 的事件

    * @param key

    * @throws IOException

    */

    public void read(SelectionKey key) throws IOException{

        // 服务器可读取消息:得到事件发生的Socket通道

        SocketChannel channel = (SocketChannel) key.channel();

        // 创建读取的缓冲区

        ByteBuffer buffer=ByteBuffer.allocate(10);

        channel.read(buffer);

        byte[] data=buffer.array();

        String msg=new String(data).trim();

        System.out.println("客户端收到的消息:"+msg);

        ByteBuffer outBuffer=ByteBuffer.wrap(msg.getBytes());

        channel.write(outBuffer);// 将消息回送给客户端

    }

    /**

    * 启动客户端测试

    * @throws IOException

    */

    public static void main(String[] args) throws IOException {

        NIOClient client = new NIOClient();

        client.initClient("localhost",8000);

        client.listen();

    }

}

相关文章

网友评论

      本文标题:NIO学习

      本文链接:https://www.haomeiwen.com/subject/vhkjmftx.html