美文网首页
零拷贝实现原理

零拷贝实现原理

作者: 喜马拉雅以南 | 来源:发表于2019-10-31 17:07 被阅读0次

[TOC]

内容拷贝过程

场景:从一个文件中读出并将数据传到另一台服务器
实现伪代码如下:

File.read(file, buf, len);
Socket.send(socket, buf, len);
// 此过程涉及4次拷贝
image

注意: 在应用拷贝时会涉及到用户态切换到内核态

  1. 应用程序调用read()方法,此处会设计到上下文切换(用户态->内核态),底层采用DMA(direct memory access)读取磁盘的文件,然后将内容存储到内核地址空间的读取缓冲区

  2. 应用程序无法读取内核地址空间的数据,这时read()调用返回,将内容从读取缓冲区拷贝到用户缓冲区,上下文切换(内核态 ->用户态),此时应用程序可以修改这些内容

  3. 通过Socket传到另一个服务中,调用Socket的send() 方法传到另一个服务中,然后再次将内容拷贝到内核地址空间缓冲区,此时又是一次上下文切换与目标套接字直接相连,与读取缓冲区无关

  4. send()调用返回,第四次数据拷贝,通过DMA(direct memory access)把数据从目标套接字相关的缓存区传到协议引擎进行发送

NIO优化

 在整个过程中,过程1和4是由DMA负责(类似通道Channel),并不会消耗CPU,只有过程2和3的拷贝需要CPU参与,可以直接把内核态读取缓冲区直接拷贝到套接字相关的缓冲区,优化如下图

image
实现方式:
FileChannel的 tansferTo() 方法可是实现,将数据从文件通道传输到给定的可写字节的通道,替换file.read() 方法和 socket.send()方法
//获取缓冲区
Buffer buffer=ByteBuffer.allocateDirect(1024);
//获取文件通道
FileChannel fileChannel = 
FileChannel.open(Paths.get(System.getProperty("user.dir")+ "/assets/file.txt"), StandardOpenOption.READ);
//获取socket通道
SocketChannel socketChannel=SocketChannel.open();
//将文件通道转到socket通道
fileChannel.transferTo(buffer.position(),buffer.limit(),socketChannel);

经过上述优化后后

  • 上下文切换的次数从四次减少到了两次
  • 数据拷贝次数从四次减少到了三次(其中DMA copy 2次,CPU copy 1次)

零拷贝的实现

Linux内核2.4及后期版本中,针对套接字缓冲区描述符做了调整,DMA自带了收集功能,内部操作发生了改变,用户使用不变,内部操作如下图:

image

遗留问题:

  1. 套接字缓冲区实现机制原理
  2. 文件描述符的实现原理

参考资料:https://www.jianshu.com/p/2581342317ce

相关文章

  • 零拷贝实现原理

    [TOC] 内容拷贝过程 场景:从一个文件中读出并将数据传到另一台服务器实现伪代码如下: 注意: 在应用拷贝时会涉...

  • Netty零拷贝实现原理

    1. 传统数据传送 传统数据从Socket网络中传送,需要4次数据拷贝和4次上下文切换: 将磁盘文件,读取到操作系...

  • (5)零拷贝实现原理

    场景:文件读出数据,传到另一台服务器上 伪代码 File.read(file, buf, len); Socke...

  • 零拷贝底层实现原理

    零拷贝概述 零拷贝可以避免无谓的copy动作,为了说清楚这一点,本文会先从传统的读写操作开始介绍。 传统读操作 当...

  • 零拷贝原理-中断和DMA

    为何要懂零拷贝原理?因为rocketmq存储核心使用的就是零拷贝原理。 io读写的方式中断DMA 中断方式中断方式...

  • 2020-10-10

    深入剖析Linux IO原理和几种零拷贝机制的实现 - 零壹技术栈的文章 - 知乎https://zhuanlan...

  • 零拷贝的原理及Java实现

    在谈论Kafka高性能时不得不提到零拷贝。Kafka通过采用零拷贝大大提供了应用性能,减少了内核和用户模式之间的上...

  • NIO与零拷贝

    1 零拷贝原理 1.1 传统IO4次拷贝3次切换 2.1优化后3次拷贝2次切换 零拷贝是从操作系统角度看的,是没有...

  • 零拷贝原理详解

    引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的,即 I/O 操作会导致数据在操作系统内...

  • Linux 零拷贝原理

    零拷贝的好处 减少或避免不必要的CPU数据拷贝,从而释放CPU去执行其他任务零拷贝机制能减少用户空间和操作系统内核...

网友评论

      本文标题:零拷贝实现原理

      本文链接:https://www.haomeiwen.com/subject/zdmtbctx.html