美文网首页
零拷贝实现原理

零拷贝实现原理

作者: 喜马拉雅以南 | 来源:发表于2019-10-31 17:07 被阅读0次

    [TOC]

    内容拷贝过程

    场景:从一个文件中读出并将数据传到另一台服务器
    实现伪代码如下:

    File.read(file, buf, len);
    Socket.send(socket, buf, len);
    // 此过程涉及4次拷贝
    
    image

    注意: 在应用拷贝时会涉及到用户态切换到内核态

    1. 应用程序调用read()方法,此处会设计到上下文切换(用户态->内核态),底层采用DMA(direct memory access)读取磁盘的文件,然后将内容存储到内核地址空间的读取缓冲区

    2. 应用程序无法读取内核地址空间的数据,这时read()调用返回,将内容从读取缓冲区拷贝到用户缓冲区,上下文切换(内核态 ->用户态),此时应用程序可以修改这些内容

    3. 通过Socket传到另一个服务中,调用Socket的send() 方法传到另一个服务中,然后再次将内容拷贝到内核地址空间缓冲区,此时又是一次上下文切换与目标套接字直接相连,与读取缓冲区无关

    4. send()调用返回,第四次数据拷贝,通过DMA(direct memory access)把数据从目标套接字相关的缓存区传到协议引擎进行发送

    NIO优化

     在整个过程中,过程1和4是由DMA负责(类似通道Channel),并不会消耗CPU,只有过程2和3的拷贝需要CPU参与,可以直接把内核态读取缓冲区直接拷贝到套接字相关的缓冲区,优化如下图

    image
    实现方式:
    FileChannel的 tansferTo() 方法可是实现,将数据从文件通道传输到给定的可写字节的通道,替换file.read() 方法和 socket.send()方法
    //获取缓冲区
    Buffer buffer=ByteBuffer.allocateDirect(1024);
    //获取文件通道
    FileChannel fileChannel = 
    FileChannel.open(Paths.get(System.getProperty("user.dir")+ "/assets/file.txt"), StandardOpenOption.READ);
    //获取socket通道
    SocketChannel socketChannel=SocketChannel.open();
    //将文件通道转到socket通道
    fileChannel.transferTo(buffer.position(),buffer.limit(),socketChannel);
    

    经过上述优化后后

    • 上下文切换的次数从四次减少到了两次
    • 数据拷贝次数从四次减少到了三次(其中DMA copy 2次,CPU copy 1次)

    零拷贝的实现

    Linux内核2.4及后期版本中,针对套接字缓冲区描述符做了调整,DMA自带了收集功能,内部操作发生了改变,用户使用不变,内部操作如下图:

    image

    遗留问题:

    1. 套接字缓冲区实现机制原理
    2. 文件描述符的实现原理

    参考资料:https://www.jianshu.com/p/2581342317ce

    相关文章

      网友评论

          本文标题:零拷贝实现原理

          本文链接:https://www.haomeiwen.com/subject/zdmtbctx.html