美文网首页
缓存IO与直接IO

缓存IO与直接IO

作者: 浪子_byte | 来源:发表于2017-12-01 11:15 被阅读0次

文件系统IO分为DirectIO和BufferIO,其中BufferIO也叫Normal IO。

1. 缓存IO

缓存I/O又被称作标准I/O,大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中,数据先从磁盘复制到内核空间的缓冲区,然后从内核空间缓冲区复制到应用程序的地址空间。

读操作:操作系统检查内核的缓冲区有没有需要的数据,如果已经缓存了,那么就直接从缓存中返回;否则从磁盘中读取,然后缓存在操作系统的缓存中。

写操作:将数据从用户空间复制到内核空间的缓存中。这时对用户程序来说写操作就已经完成,至于什么时候再写到磁盘中由操作系统决定,除非显示地调用了sync同步命令(详情参考《【珍藏】linux 同步IO: sync、fsync与fdatasync》)。

缓存I/O的优点:1)在一定程度上分离了内核空间和用户空间,保护系统本身的运行安全;2)可以减少读盘的次数,从而提高性能

缓存I/O的缺点:在缓存 I/O 机制中,DMA 方式可以将数据直接从磁盘读到页缓存中,或者将数据从页缓存直接写回到磁盘上,而不能直接在应用程序地址空间和磁盘之间进行数据传输,这样,数据在传输过程中需要在应用程序地址空间(用户空间)和缓存(内核空间)之间进行多次数据拷贝操作,这些数据拷贝操作所带来的CPU以及内存开销是非常大的。

2. 直接IO

直接IO就是应用程序直接访问磁盘数据,而不经过内核缓冲区,这样做的目的是减少一次从内核缓冲区到用户程序缓存的数据复制。比如说数据库管理系统这类应用,它们更倾向于选择它们自己的缓存机制,因为数据库管理系统往往比操作系统更了解数据库中存放的数据,数据库管理系统可以提供一种更加有效的缓存机制来提高数据库中数据的存取性能。

直接IO的缺点:如果访问的数据不在应用程序缓存中,那么每次数据都会直接从磁盘加载,这种直接加载会非常缓存。通常直接IO与异步IO结合使用,会得到比较好的性能。(异步IO:当访问数据的线程发出请求之后,线程会接着去处理其他事,而不是阻塞等待)

下图分析了写场景下的DirectIO和BufferIO:

参考:

Linux 中直接 I/O 机制的介绍:http://www.ibm.com/developerworks/cn/linux/l-cn-directio/

转载地址:http://www.cnblogs.com/youngerchina/p/5624462.html

相关文章

  • 缓存IO与直接IO

    文件系统IO分为DirectIO和BufferIO,其中BufferIO也叫Normal IO。 1. 缓存IO ...

  • 项目中的缓存那些事儿

    1.为何需要缓存? 在高并发请求时,为何我们频繁提到缓存技术?最直接的原因是,目前磁盘IO和网络IO相对于内存IO...

  • NIO

    NIO与传统IO相比,NIO以块为单位传输,并且有缓存区,而IO流直接通过字节传输 相比之下NIO减少了硬盘读取的...

  • linux高级环境编程-标准IO

    标准IO也是带缓存的IO,它们的操作是围绕流进行,而之前的不带缓存IO操作是围绕文件描述符的,标准IO还是基于文件...

  • nginx优化(二)io优化 直接IO与零拷贝

    nginx优化(二)io优化 直接io与零拷贝 nginx io相关基础配置 debug_points abort...

  • 软件架构设计-操作系统

    操作系统 直接IO与缓冲IO 缓冲io又称作标准I/O,大多数文件系统的默认IO操作都是缓冲IO。在linux的缓...

  • 19-io_文件权限掩码_动态库_静态库

    I/O * 标准IO:库 带缓存 通过流FILE * 操作文件 * 文件IO...

  • IO缓存流

    为啥要缓存流? 答:当需要将数据写入磁盘时,在每一次读写都会访问硬盘,这样就会导致频繁的IO操作,降低了程序的性能...

  • System.IO.StreamWriter没有Finalize

    System.IO.FileStream可以将字节写入文件,该类有内存缓存 System.IO.StreamWri...

  • 标准IO

    2016-02-01 标准io 标准io处理了很多细节,例如缓存分配,优化长度执行io等。 流和file对象 之前...

网友评论

      本文标题:缓存IO与直接IO

      本文链接:https://www.haomeiwen.com/subject/wdiibxtx.html