美文网首页
Linux 磁盘I/O工作机制

Linux 磁盘I/O工作机制

作者: 菜鸟小玄 | 来源:发表于2018-08-08 15:45 被阅读0次

    在读取和写入文件I/O操作都调用操作系统提供的接口,因为磁盘设备是由操作系统管理的,应用程序要访问物理设备只能通过系统调用的方式来工作。读和写分别对应read()和write()两个系统调用

    而只要是系统调用就可能存在内核空间地址和用户空间地址切换的问题,这是操作系统为了保护系统本身的运行安全,将内核程序运行使用的内存空间和用户程序运行使用内存空间进行隔离造成的。这样可以保护内核程序运行的安全。虽然如此,但也必然存在数据可能需要从内核空间向用户空间复制的问题。

    如果遇到非常耗时的操作,如磁盘I/O,数据从磁盘复制到内核空间,然后又从内核空间复制到用户空间,将会非常缓慢。这时操作系统为了加速I/O访问,在内核空间使用缓存机制,即将从磁盘读取的文件按照一定的组织方式进行缓存,如果用户程序访问的是同一段磁盘地址的空间数据,那么操作系统将从内核缓存中直接取出返回给用户程序,这样可以减小I/O的响应时间。

    几种访问文件的方式

    1.标准访问文件的方式

    当应用程序调用read()接口时,操作系统检查在内核的高速缓存中有没有需要的数据,如果有,则从缓存中返回,如果没有,则从磁盘中读取,然后缓存在操作系统的缓存中。在调用write()接口时,应用程序将数据从用户地址空间复制到内核地址空间的缓存中。这时对于用户程序来说写操作就已经完成,至于什么时候再写到磁盘中由操作系统决定,除非显式地调用sync同步命令。 image

    2.直接I/O的方式

    这种方式是指,应用程序直接访问磁盘数据,而不经过操作系统内核数据缓冲区,这样做是为了减少一次从内核空间到用户空间的数据复制。这种访问文件的方式通常是在对数据的缓存管理有应用程序实现的数据库管理系统中。在数据库管理系统中,系统明确地知道应该缓存哪些数据,应该失效哪些数据,还可以对一些热点数据做预加载,提前将热点数据加载到内存,可以加速数据的访问效率。在这些情况下,操作系统并不知道哪些是热点数据,哪些数据可能只访问一次就不会再访问了,操作系统只是简单地缓存最近一次从磁盘读取的数据,所以它做不到这样的数据缓存。

    但直接I/O也有负面影响,如果访问的数据不在应用程序缓存中,那么每次数据都要从磁盘进行加载,这种直接加载会很慢。通常直接I/O与异步I/O结合使用会很好。

    3.同步访问文件的方式

    数据的读取和写入都是同步操作的,它与标准访问文件的方式不同在于,只有当数据被成功写入到磁盘时才返回给应用程序成功的标志。应用在对数据安全性要求较高的场合,而且这种操作方式的硬件都是定制的。

    4.异步访问文件的方式

    当访问数据的线程发出请求后,线程会处理其它事情,不是阻塞等待,当请求的数据返回后继续处理下面的操作。

    5.内存映射方式

    内存映射的方式是指操作系统将内存中的某一块区域与磁盘中的文件关联起来,当要访问内存中的一段数据是,转换为访问文件的某一段数据。这也是为了减少数据从内核空间缓存到用户空间缓存的复制操作,因为这两个空间的数据是共享的。

    Java访问磁盘文件

    上面是基本的Java I/O的操作接口,这些接口主要定义了如何操作数据,和操作数据结构的字节和字符的两种方式。还有一个关键问题就是数据写到何处。其中一个主要方式就是将数据持久化到物理磁盘。数据在磁盘中的唯一最小描述就是文件,即上层应用程序只能通过文件来操作磁盘上的数据,文件也是操作系统和磁盘驱动器交互的最小单元。

    在Java中,File对象并不代表一个真实存在的文件对象,当你指定一个路径描述符时,它就会返回一个代表这个路径的虚拟对象,这可能是一个文件,也可能是一个目录。这样设计,是因为通常我们并不关心这个文件是否真实存在,而是关心对这个文件到底如何操作。只有在真正读取文件时,才会检查这个文件存不存在。

    例如,FileInputStream类都是操作一个文件的接口,注意到在创建一个FileInputStream对象时会创建一个FileDescriptor对象,其实这个对象就是真正代表一个存在的文件对象的描述。当我们在操作一个文件对象时可以通过getFD()方法获取真正操作的与底层操作系统相关联的文件描述。例如,可以调用FileDescriptor.sync()方法将操作系统缓存中的数据强制刷新到物理磁盘中。

    image

    同步、异步、阻塞、非阻塞

    同步与异步:描述的是用户线程与内核的交互方式,同步指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行;而异步是指用户线程发起IO请求后仍然继续执行,当内核IO操作完成后会通知用户线程,或者调用用户线程注册的回调函数。

    阻塞与非阻塞:描述是用户线程调用内核IO操作的方式,阻塞是指IO操作需要彻底完成后才返回到用户空间;而非阻塞是指IO操作被调用后立即返回给用户一个状态值,无需等到IO操作彻底完成。

    相关文章

      网友评论

          本文标题:Linux 磁盘I/O工作机制

          本文链接:https://www.haomeiwen.com/subject/qmlxbftx.html