之前在总结kafka高性能依仗的技术时提到,读写使用了linux 的pagecache,本文来研究一下page cache是什么。
1.什么是page cache的机制?
当APP需要读取磁盘文件数据时,linux先分配一些内存,将数据从磁盘读区到内存中,然后再将数据传给APP。
当APP需要写数据到磁盘文件时,linux先分配内存接受用户数据,然后再将数据从内存写到磁盘。
2.page cache的结构?
linux的文件cache分为两层,一个是page cache,另一个是buffer cache;每一个page cache包含若干个buffer cache。
指针映射关系真正指向磁盘block的其实是buffer cache里面的指针。
3.cache是如何提高性能的呢?
靠的是cache的预读
对于每个文件的第一次读请求,系统读入所请求的页面并读入紧随其后的的少数几个页面(不少于1个,通常是3个),此种读区成为同步预读;
第二次读取,如果页面不在cache中,说明不是顺序读取,继续重复第一次的同步预读过程。
第二次读取,如果页面在cache中,说明是顺序读取,会将预读group扩大一倍,将不在cache中的文件数据读进来。此为异步预读。(kafka采取的顺序读写,可以很好的利用linux的这个机制)
网友评论