美文网首页
多年后再思考MOLAP、HOLAP和ROLAP

多年后再思考MOLAP、HOLAP和ROLAP

作者: fly福来 | 来源:发表于2021-04-20 17:30 被阅读0次

ROLAP(relational OLAP),明细数据、聚合后的数据都保存在关系型的数据库中。这种方式查询效率最低,每次查询都需要计算,效率高不高完全靠数据库。数据库需要持续调优。

HOLAP(hybrid OLAP),明细数据保留在关系型数据库的事实表中,但是聚合后的数据保存在cube中。

MOLAP(multidimensional OLAP),将明细数据和聚合后的数据均保存在cube中,在查询性能上有很大提高,其实就是空间换时间。需要额外购买产品,而且会而外增加管理维护成本。

我们原来在某大行里面试过多次Cube,虽然都知道MOLAP效率快,但是因为早期版本(现在不知道是否改善)权限、数据刷新、模型不稳定维度经常变化以及产品功能原因,屡试屡败。我们最终方案是ROLAP,采用greenplum搭建了128台机器的集群作为访问数据库,底层全部存储明细数据,前端采用cognos query studio 作为自由拖拽。实现了灵活查询与效率之间的一个相互平衡和制约,查询效率不会太高,但是业务更关注的是能够出数据而不是效率本身,当然也感谢业务部门的包容。而且咨询过同业经验,基本都抛弃了CUBE,采用ROLAP。

基于明细数据的多维模型、雪花模型能够支持业务灵活用数的问题,但是性能问题是一大头痛的事情,ROLAP开发简单但是效率完全依靠数据库本身,当数据量到一定程度后很难保证性能,所以在模型之后又出现了大量为了解决性能而开发的报表物理表(宽表)。MOLAP固然能解决效率方面很多的问题,但是相对ROLAP也会带来产品本身的管理运维成本的增加,而且屡试屡败的经验确实留下了阴影。

套用一句话,我们要的是金融服务而不是银行,时至今日我们一年还有几次步入银行柜台,但是银行生意照样红火我们每天也离不开金融服务。其实不管是ROLAP还是MOLAP,我们要的是查询效率和业务期待之间的平衡,而不在乎后台的实现技术本身。是否有一种产品,既具备ROLAP开发设计、使用的灵活性,又能够很好解决查询效率问题?同时支持横向扩展,支持海量数据的大并发查询。

相关文章

  • 多年后再思考MOLAP、HOLAP和ROLAP

    ROLAP(relational OLAP),明细数据、聚合后的数据都保存在关系型的数据库中。这种方式查询效率最低...

  • MOLAP ROLAP HOLAP的区别和联系

    在OLAP的世界里,主要有两种不同的类型:多维联机分析处理(MOLAP)和关系型联机分析处理(ROLAP)。混合联...

  • 大数据OLAP系统(2)——开源组件篇

    开源大数据OLAP组件,可以分为MOLAP和ROLAP两类。ROLAP中又可细分为MPP数据库和SQL引擎两类。对...

  • 数据仓库快速入门教程7-MOLAP

    什么是MOLAP? 多维OLAP(MOLAP)是一种经典的OLAP,它通过使用多维数据立方体来促进数据分析。数据预...

  • Kylin工作原理

    Kylin的工作原理本质上是MOLAP(Multidimensional Online Analytical Pr...

  • 深度思考,再“少”也是“多”

    其实我们能做的很少,晗韩当然不想打击任何人,因为我们不得不面对一个现实:欲望太多也是人类的天性之一,原始人为了生存...

  • 少即是多

    少即是多,专注专注再专注,简单简单再简单,重复重复再重复 最近几天在坚持运动和思考副业的同时,想着想着又发现自己想...

  • 勇气

    再大的事,三年后都是小事; 再困难的事,三年后也会谈笑风声; 为何不借三年后的心态来过今天的生活; 人生苦难多,多...

  • 七律.赠兄弟文野.

    兄弟此去多努力,不忘昔日奋未迟。 虎啸龙吟出建昌,若干年后再风光。

  • 新年开工第一天,就忙的没空和出差培训的同学拉闲话,硬是放到了下班路上再通话。 年前领导安排了春节要思考的事。年后开...

网友评论

      本文标题:多年后再思考MOLAP、HOLAP和ROLAP

      本文链接:https://www.haomeiwen.com/subject/wzunlltx.html