美文网首页
Logan 简要精髓分析和思考扩展

Logan 简要精髓分析和思考扩展

作者: violet小咔咔 | 来源:发表于2018-11-09 00:30 被阅读0次

前言

上一篇文章会了JNI,来看看Logan
撸完Logan的逻辑,接着我们就来一起思考,一个日志文件怎么写到文件的,用了什么技术?,为什么不直接new File,搞个流就那么写就好了啊。那么费事,究竟图的什么,来我们今天就是来尝菜的。

1、端菜上桌

我们一起看看用了啥锅炒的菜,这么滑溜。核心代码都在上篇文章会了JNI,来看看Logan
,我这里就直说了,用的mmap内存映射文件技术,参考 认真分析mmap:是什么为什么怎么用

参考上述链接文章.png 从上图中表述的意思就是:一个文件映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系,可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用read,write等系统调用函数。
我去,这里我们只要改变了指针,系统就帮我们完成了文件的写入,这么6的,我这边就是copy屠夫,我从上述文章中摘抄如下通俗易懂的解释
linux内核使用vm_area_struct结构来表示一个独立的虚拟内存区域,由于每个不同质的虚拟内存区域功能和内部机制都不同,因此一个进程使用多个vm_area_struct结构来分别表示不同类型的虚拟内存区域。各个vm_area_struct结构使用链表或者树形结构链接,方便进程快速访问,如下图所示: copy form 上述链接文章.png vm_area_struct结构中包含区域起始和终止地址以及其他相关信息,同时也包含一个vm_ops指针,其内部可引出所有针对这个区域可以使用的系统调用函数。这样,进程对某一虚拟内存区域的任何操作需要用要的信息,都可以从vm_area_struct中获得。mmap函数就是要创建一个新的vm_area_struct结构,并将其与文件的物理磁盘地址相连。库函数mmap,原型:void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
太晚了,这里就先copy原理
1、使用mmap需要注意的一个关键点是,mmap映射区域大小必须是物理页大小(page_size)的整倍数(32位系统中通常是4k字节)。原因是,内存的最小粒度是页,而进程虚拟地址空间和内存的映射也是以页为单位。为了匹配内存的操作,mmap从磁盘到虚拟地址空间的映射也必须是页。

2、内核可以跟踪被内存映射的底层对象(文件)的大小,进程可以合法的访问在当前文件大小以内又在内存映射区以内的那些字节。也就是说,如果文件的大小一直在扩张,只要在映射区域范围内的数据,进程都可以合法得到,这和映射建立时文件的大小无关。具体情形参见“情形三”。

3、映射建立之后,即使文件关闭,映射依然存在。因为映射的是磁盘的地址,不是文件本身,和文件句柄无关。同时可用于进程间通信的有效地址空间不完全受限于被映射文件的大小,因为是按页映射。

在上面的知识前提下,我们下面看看如果大小不是页的整倍数的具体情况:

情形一:一个文件的大小是5000字节,mmap函数从一个文件的起始位置开始,映射5000字节到虚拟内存中。

分析:因为单位物理页面的大小是4096字节,虽然被映射的文件只有5000字节,但是对应到进程虚拟地址区域的大小需要满足整页大小,因此mmap函数执行后,实际映射到虚拟内存区域8192个 字节,5000~8191的字节部分用零填充。映射后的对应关系如下图所示:

           ![image](https://img.haomeiwen.com/i4108079/dc7a2b04c2d0b57a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

此时:

(1)读/写前5000个字节(0~4999),会返回操作文件内容。

(2)读字节50008191时,结果全为0。写50008191时,进程不会报错,但是所写的内容不会写入原文件中 。

(3)读/写8192以外的磁盘部分,会返回一个SIGSECV错误。

情形二:一个文件的大小是5000字节,mmap函数从一个文件的起始位置开始,映射15000字节到虚拟内存中,即映射大小超过了原始文件的大小。

分析:由于文件的大小是5000字节,和情形一一样,其对应的两个物理页。那么这两个物理页都是合法可以读写的,只是超出5000的部分不会体现在原文件中。由于程序要求映射15000字节,而文件只占两个物理页,因此8192字节~15000字节都不能读写,操作时会返回异常。如下图所示:

             ![image](https://img.haomeiwen.com/i4108079/1c32479e542fbf56.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

此时:

(1)进程可以正常读/写被映射的前5000字节(0~4999),写操作的改动会在一定时间后反映在原文件中。

(2)对于5000~8191字节,进程可以进行读写过程,不会报错。但是内容在写入前均为0,另外,写入后不会反映在文件中。

(3)对于8192~14999字节,进程不能对其进行读写,会报SIGBUS错误。

(4)对于15000以外的字节,进程不能对其读写,会引发SIGSEGV错误。

情形三:一个文件初始大小为0,使用mmap操作映射了10004K的大小,即1000个物理页大约4M字节空间,mmap返回指针ptr。*

分析:如果在映射建立之初,就对文件进行读写操作,由于文件大小为0,并没有合法的物理页对应,如同情形二一样,会返回SIGBUS错误。

但是如果,每次操作ptr读写前,先增加文件的大小,那么ptr在文件大小内部的操作就是合法的。例如,文件扩充4096字节,ptr就能操作ptr ~ [ (char)ptr + 4095]的空间。只要文件扩充的范围在1000个物理页(映射范围)内,ptr都可以对应操作相同的大小。

这样,方便随时扩充文件空间,随时写入文件,不造成空间浪费。

相关文章

  • Logan 简要精髓分析和思考扩展

    前言 上一篇文章会了JNI,来看看Logan撸完Logan的逻辑,接着我们就来一起思考,一个日志文件怎么写到文件的...

  • scrapy实战笔记

    一,基础 scrapy优势:异步IO,性能强;内置功能丰富(css,xpath);易扩展爬虫简要步骤:URL分析,...

  • 浅谈用户需求

    用户需求分析和设计产品经理核心技能,我习惯用思维导图去梳理和分析。做了一段时间产品经理,简要总结下自己的思考。 产...

  • 芝加哥建筑周记-Logan Square

    logan square 随Rich和Diana探访logan社区。这个社区早年是波兰裔聚居的地方。安静。说是数一...

  • 深度思考-寻找支点方法(3/5)

    深度思考-寻找支点方法(3/5)-扩展思考范围 目录 1. 总结 2. 扩展思维到受影响的方方面面 3. 案例分析...

  • iOS H264解码

    首先感谢 Logan_iOS 大神 Logan_iOS 1.头文件和参数类型 2.调用解码方法 采集sps pps...

  • 简要思考

    想想最近这两年的生活方式还真是像极了上了年纪的老太婆,不疯狂、不矫情、不会有很多不切实际的想法,仿佛这一切都变得太...

  • Logan:美团点评的开源移动端基础日志库

    前言 Logan是美团点评集团移动端基础日志组件,这个名称是Log和An的组合,代表个体日志服务。同时Logan也...

  • 加利福尼亚------德克萨斯

    电影《金刚狼,殊死一战》里面,Logan 和小狼女Laura开车从德州去加州,Logan 困得想睡觉。 现实中,我...

  • QBImagePicker 批量获取手机相册图片

    1、简要说明 QBImagePicker用于获取iOS本地图像,QBImagePickerController扩展...

网友评论

      本文标题:Logan 简要精髓分析和思考扩展

      本文链接:https://www.haomeiwen.com/subject/uwbgxqtx.html