美文网首页
mapdb实践

mapdb实践

作者: ImushroomT | 来源:发表于2018-05-20 23:01 被阅读0次

mapdb是什么

mapdb是一个嵌入式java数据库引擎,主要提供map和set形式的数据存储,使用起来就像是在操作java本身的map,set,事实上mapdb的确实现了jdk中对应的接口,mapdb可以提供内存级别和磁盘级别的缓存,采用了fluent api,使用起来还是很方便的,底层实现部分使用了kotlin。

不同的db

mapdb提供了内存级别数据库,使用jvm堆空间

DB db = DBMaker.memoryDB().make();

直接内存数据库,使用direct memory

DB db = DBMaker.memoryDirectDB().make();

random access file数据库,使用磁盘空间

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb").make()

使用mmap(memory map file)数据库,同样使用磁盘空间,但是使用了内存映射技术,进程读取数据的时候不需要陷入内核态,直接从内存映射地址找到磁盘上对应的地址,比楼上快很多

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")
                .fileMmapEnableIfSupported().make()

还有一种是使用filechannel,性能介于以上两者之间

map类型

创建好数据库后可以使用treemap和hashmap,两者的区别可参考官方文档,不过官方文档目前么有给出两者的具体对比,有点尴尬。
对于hashmap,需要注意参数layout

ConcurrentMap<Long, String> map = db.hashMap("words")
                .keySerializer(Serializer.LONG)
                .valueSerializer(Serializer.STRING)
                .layout(64, 64, 4)//分别表示concurrentcy,nodeSize,levels
                .createOrOpen();

直接给出官方文档解释,我们在使用时需要估计最大存储量,否则超过最大值过后性能会下降。



对于treemap,需要注意参数valuesOutsideNodesEnable
看官方文档,一个叶子节点默认最大可包含32个entry,使用get方法时会把节点下所有entry的value都反序列化,为了提高性能可以将value存储在节点之外提供性能。另外节点的最大entry数可以通过maxNodeSize()方法设置,值越大,b树更浅,查找次数少,但是反序列化慢。


测试时的最佳实践

分别在单线程读写和多线程读写进行操作,参数配置如下

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")
                //.checksumHeaderBypass()
                .fileMmapEnableIfSupported()//1
                .fileMmapPreclearDisable()//2
                .cleanerHackEnable()//3
                .closeOnJvmShutdown()//4
                .transactionEnable()//5
                .concurrencyScale(128)//6
                .make();
        ConcurrentMap<Long, String> map = db.treeMap("words")
                .keySerializer(Serializer.LONG)
                .valueSerializer(Serializer.STRING)
                .valuesOutsideNodesEnable()
                .createOrOpen();

对于1,表示如果支持的话使用mmap,也就是在64为操作系统开启,32位不开启,因为太小了;
对于2,是对使用mmap的优化,官方文档说快快快
对于3,这是针对使用mmap时,jvm所出现的bug所做的处理,实际上也还有其他问题,具体可参考官方文档和http://www.mapdb.org/blog/mmap_file_and_jvm_crash/
对于4,指的是jvm正常关闭时,将会关闭数据库,但是如果使用kill -9等强制关闭措施将导致mapdb的校验和出现问题,下次打开时将出现异常,虽然可以使用checksumHeaderBypass参数规避这个问题,但是官方还是建议使用事务来保证数据的安全性
对于5,开启事务,写的速度下降,但是数据安全了
对于6,数据库内部本质还是读写锁,因此更高的并发度设置在并发写的时候可以提供写性能
其他的:使用了mmap真的比random access file快很多,绝对值得尝试,虽然有坑!!!希望jvm早日修复mmap的bug

相关文章

  • mapdb实践

    mapdb是什么 mapdb是一个嵌入式java数据库引擎,主要提供map和set形式的数据存储,使用起来就像是在...

  • Day37 流程

    一个原因/没有原因些许想法定下目标翻阅资料以史为鉴制定计划模拟演练实践实践实践实践实践实践……实践实践实践实践实践...

  • 实践实践实践

    发现自己就是想的太多,做的太少。9月份考察的一个项目,不管从哪个方面来讲,都觉得这个项目是非常好,值得一生去做的事...

  • 白玉花果的一般老化特征和老光特征,跟仿品比较

    实践出真知,但不正确的实践必不出真知。正确的实践是个人的实践和社会的实践相结合,脱离社会实践的个人实践是错误的实践...

  • 暑假工作 ‖ 社会实践报告

    实践时间:2018.07.09—2018.08.25实践人:欧阳广梅实践事件:1.社会实践(爱心传递)2.工作实践...

  • 实践实践再实践

    生命是一种体验。

  • 实践实践再实践

    这是我参加11月MJ老师的超级数字力课程的最大体验。 我作为一名复训生参加此次课程,可能因为现在是熊市,大家都不太...

  • 实践实践再实践

    猫叔的分享总是言辞恳切,每一条经验都是他实践过的,我们只要认真跟着做就行。 一、手打字录视频 有这一决定之前,我问...

  • 实践实践再实践

    记录下近来的想法,当有些想法的时候,人一下子可能会规划的很多,说要做个还有那个,然后还可以做那个,睡了一觉之后,发...

  • 实践,实践,还是实践

    王阳明说,做不到就不是真知道。 嗯嗯,我深以为然。 如果说,你知道孝敬老人是传统美德,那你...

网友评论

      本文标题:mapdb实践

      本文链接:https://www.haomeiwen.com/subject/llcxjftx.html