目录标题
一、前置知识
1、什么是Linux的用户空间与内核空间
2、什么是页缓存（pagecache）
3、什么是DMA
二、rocketmq读写性能高的原因
1、顺序读写
2、传统读取文件然后进行网络传输
3、使用mmap技术
4、Kafka使用的sendfile零拷贝技术
5、rockermq性能高的原因
6、如何解决commitlog文件的随机读
三、为什么rocketmq不用sendfile技术
四、参考
一、前置知识
1、什么是Linux的用户空间与内核空间
Linux 操作系统和驱动程序运行在内核空间，应用程序(java程序和jvm)运行在用户空间。用户空间不能直接访问硬件设备，需要通过内核空间间接访问，网卡、磁盘、显卡等。
2、什么是页缓存（pagecache）
页缓存是操作系统用来作为磁盘的一种缓存，减少磁盘的I/O操作。
使用pagecache时：
读：
进程发起read()请求，首先会检查请求的数据是否缓存到了page cache中，如果有，那么直接从内存中读取，不需要访问磁盘，这被称为cache命中（cache hit）。如果cache中没有请求的数据，即cache未命中（cache miss），就必须从磁盘中读取数据。然后内核将读取的数据缓存到cache中，这样后续的读请求就可以命中cache了。page可以只缓存一个文件部分的内容，不需要把整个文件都缓存进来。（先从page cache中读，没有就从磁盘读（未命中）。然后将未命中的数据，读到page cache中（提升下次读的命中率））
写：
进程发起write()请求，同样是直接往cache中写入，后备存储中的内容不会直接更新。内核会将被写入的page标记为dirty，并将其加入dirty list中。内核会周期性地将dirty list中的page写回到磁盘上，从而使磁盘上的数据和内存中缓存的数据一致。
3、什么是DMA
操作系统：DMA
二、rocketmq读写性能高的原因
1、顺序读写
对磁盘读写时，如果是顺序读写，那么磁头几乎不用换道，或者换道的时间很短。读写效率会提高很多。（rocketmq 写是顺序写，读并不是，但是它提高的读机制使得读类似顺序读）
rocketmq 将消息写入CommitLog 文件夹中的mappedFile文件（这个文件超过1G后会新建一个）时，是按照顺序写入的。不论消息属于哪个 Topic 的哪个 Queue 。都会按照顺序依次存储到CommitLog 文件夹中的mappedFile文件。
2、传统读取文件然后进行网络传输
image.png
3、使用mmap技术
mmap将一个文件或者其它对象映射进内存。mmap系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后，进程可以像访问普通内存一样对文件进行访问，不必再调用read()，write（）等操作。
因为已经将文件映射到内存，所以就减少了一次cpu拷贝
image.png
通过代码实现mmap
package com.lihua.rocketmq.zero_copy;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
/**
* 零拷贝——mmap
* @author 15594
*/
public class MMap {
public static void main(String[] args) throws IOException {
File file = new File("C:\\Users\\15594\\IdeaProjects\\rocketmq\\src\\main\\java\\com\\lihua\\rocketmq","1.txt");
System.out.println(file.getAbsolutePath());
if (file.isFile()){
System.out.println(file.isFile());
file.createNewFile();
}
RandomAccessFile randomAccessFile = new RandomAccessFile(file,"rw");
//映射文件的大小，rocketmq里面的mappedFile是1G
int len = 2048;
//将指定的“1”文件进行内存映射
MappedByteBuffer mmap = randomAccessFile.getChannel().map(FileChannel.MapMode.READ_WRITE, 0, len);
//写入数据
mmap.put("1".getBytes());
mmap.put("2".getBytes());
mmap.put("3".getBytes());
//刷入磁盘（刷盘）
mmap.flip();
//读取数据
byte[] b = new byte[10];
mmap.get(b,0,3);
System.out.println(new String(b));
}
}
4、Kafka使用的sendfile零拷贝技术
image.png
5、rockermq性能高的原因
mmap零拷贝：
RocketMQ对文件的读写操作是通过mmap零拷贝进行的，将对文件的操作转化为直接对内存地址进行操作，从而极大地提高了文件的读写效率。
预读取机制：
consumequeue中的数据是顺序存放的，还引入了PageCache的预读取机制，使得对consumequeue文件的读取几乎接近于内存读取，即使在有消息堆积情况下也不会影响性能。
若用户要读取数据，其首先会从PageCache中读取，若没有命中，则OS在从物理磁盘上加载该数据到PageCache的同时，也会顺序对其相邻数据块中的数据进行预读取。
文件预分配：
CommitLog 的大小默认是1G，当超过大小限制的时候需要准备新的文件，而 RocketMQ 就起了一个后台线程 AllocateMappedFileService，不断的处理 AllocateRequest，AllocateRequest其实就是预分配的请求，会提前准备好下一个文件的分配，防止在消息写入的过程中分配文件，产生抖动。
6、如何解决commitlog文件的随机读
RocketMQ中可能会影响性能的是对commitlog文件的读取。因为对commitlog文件来说，读取消息时会产生大量的随机访问，而随机访问会严重影响性能。不过，如果选择合适的系统IO调度算法，比如设置调度算法为Deadline（采用SSD固态硬盘的话），随机读的性能也会有所提升。
三、为什么rocketmq不用sendfile技术
因为使用sendfile 在数据传输过程中是不会进入用户进程的（也就是不会进入java程序），不进入java程序，那么就无法对数据进行操作（修改、排序）。
网友评论