美文网首页
高性能持久化框架MMKV

高性能持久化框架MMKV

作者: G_Freedom | 来源:发表于2019-06-16 16:07 被阅读0次

    Android原生提供的轻量级持久化保存数据的工具 -> SharePreference

    但是在使用sp的过程中会出现一些问题:

    一、crash导致数据丢失

    二、频繁使用sp导致ANR

    Android9.0也存在这个问题,Google并没有修复这个问题

    腾讯自己开发了一套轻量级持久化保存数据的工具 -> MMKV

    https://github.com/Tencent/MMKV

    TEST:

    SP:

    MMKV:

    通过以上方式可以发现SP对比MMKV在保存的时间和效率方面差距比较明显

    SP的Apply是一个异步的提交方式,先把需要存储的数据同步提交到内存中,然后异步写入到文件中,这是耗时和等待的过程。

    而MMKV是一个同步的提交和写入到文件中。如果把SP的Apply换成Commit,这种一次性存储1000次随机Int数据的方式就会卡死的,ANR异常。

    SP的工作流程:

    通过上下文中的Get方法,可以直接得到一个SP,就可以对数据进行读写操作了,在对数据进行读写的时候使用的是FileInputSrteam、FileOutputStream,这是Java提供给我们对文件进行读写的API

    SP的工作方式:

    SP是一个接口,实现类是SharedPreferencesImpl,而这个SP创建出来的第一步做的是使用FileInPutStream从一个文件中把数据读取出来然后保存到SP中的一个成员属性,一个Map集合中。

    在SP的构造中调用了这个方法,在一个线程中去加载了一个FileInputStream,通过这个去读取一个文件,然后通过XML解析然后保存到一个Map当中,这样的话再次从XML中读取数据只需要从Map集合中读取就行了。这是SP的工作的方式。

    MMKV和SP的差异:

    通过和SP的读写方式、数据格式和写入方式对比两者之前的差异

    读写方式:

    I/O:

    SP是使用I/O的方式对一个文件进行读写

    用户空间是自己的程序,内核空间是系统的程序,用户空间的内存和内核空间的内存是隔离的。比如你想使用IO对一些数据存储到文件中,第一步是内存中生成需要存储的数据,然后使用FileInputStream的write把数据是要copy到内存空间,然后通过系统发起文件写入的操作,系统对文件进行写入时会将内核空间copy到的数据拷贝到磁盘中,完成写入。

    这整个过程是一个非常复杂的流程,以上是简化描述。

    使用FileInputStream除了对于数据的两次copy之外,还要使用I/O线程,对系统资源额外的消耗。

    MMKV

    MMKV对文件进行读写,不是使用I/O来实现。使用MMAP

    MMAP是什么?

    从代码的角度 -> 它就是一个API,能够调用就能够使用它的功能

    这是Linux提供的,它的能力是可以和用户空间的内存区域建立映射关系,这样我们在进行文件的读写时,你只要对用户空间的内存区域操作读写时,就会由操作系统自动同步到文件当中去。这个过程和I/O操作读写文件有很大的区别。使用MMAP最大的区别是不需要将数据从用户空间Copy到内核空间,再从内核空间Copy到文件中,可以直接在用户空间与文件建立联系,进行一次数据的拷贝就可以读写了。

    MMAP和IO最明显的区别是只需要进行一次的数据拷贝。

    MMAP的优势:

    数据结构:

    SP:XML

    SP

    这是SP存储的XML的数据结构,这种数据结构是非常清晰的,但是如果不用特意去观看这种数据信息的话,这种数据结构有很多不需要的信息,这种多余的信息会增加你的文件大小,那有没有一种方式可以把这个XML数据更精简一些,让数据量更少一些?

    MMKV:

    ProtoBuf:

    什么是 Google Protocol Buffer? 

    Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。

    Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

    ProtoBuf的特点:

    优点:体积小、序列化后、数据大小可缩短约三倍,序列化速度快,传输速度快,维护成本低,扩展性好,跨平台、跨语言。

    缺点:通用性较差、现在主流是json,xml的数据格式,大部分行业也是只有这个的编写工具,ProtoBuf现在只是用于Google公司内部使用,ProtoBuf以二进制数据流方式存储,不能直接查看,只能通过解码查看。

    不过ProtoBuf比XML、Json更小,更快,使用和维护更加简单

    MMKV

    总长度:文件中有效数据的总长度

    这种数据结构没有任何多余的信息,减少了数据量,让数据结构更加精简,只会保存有意义的数据。  而且数据量越小操作数据的时间越短速度就越快,资源消耗就更小。

    解析MMKV保存的数据

    MMKV读取出所有的Key和Value并保存到一个Map集合中,便于查找和使用

    以上通过对于I/O和数据结构的对比就已经发现MMKV比SP的执行效率更高,消耗资源更小。

    写入方式:

    SP:全量更新

    SP不管你是对数据进行了部分修改还是新的数据的写入,都会把数据重新组装成XML数据信息重新写入到文件中去。

    MMKV:增量写入

    不管Key是否重复,直接将数据追加到最后

    缺点:如果一直在更新,数据就一直追加,会导致文件越来越大。怎么办?

    MMKV还有一种写入方式:全量写入

    当文件大小不够,将数据去掉重复的Key后,如果文件大小满足写入的数据大小,则可以直接更新    全量写入,否则需要扩容(在扩容时根据平均每个K-V大小来计算未来可能需要的文件大小进行扩容,防止经常性的全量写入)

    MMKV空间增长 MMKV写入流程 MMKV读取流程 MMAP扩容步骤

    MMKV也不需要任何权限就可以进行读写操作。

    https://tech.meituan.com/2018/02/11/logan.html

    https://github.com/Meituan-Dianping/Logan/blob/master/README-zh.md

    https://github.com/Tencent/MMKV

    相关文章

      网友评论

          本文标题:高性能持久化框架MMKV

          本文链接:https://www.haomeiwen.com/subject/hbsgfctx.html