美文网首页bigdata
数据中台 = 数据仓库?你的答案是Yes么?

数据中台 = 数据仓库?你的答案是Yes么?

作者: Zhu_Yue | 来源:发表于2019-11-23 17:18 被阅读0次

    近期总是会从种种渠道看到关于数据中台的推荐文章,Sorry我不是很了解,我们先看看业界对中台的普遍看法是什么。

    数据中台:是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强关联性,是这个企业独有且能复用的。

    这就是数据中台的普遍定义,首先强调的是数据技术,然后是海量数据。意味着什么?数据中台似乎是用大数据生态技术来解决业务对数据诉求的一种模式。

    我尝试着从网络上搜索了一些关于中台架构的设计图,下面是一个比较简单的例子。看起来有四层架构设计,数据采集、计算、服务和应用。

    其实已经算是比较容易让人理解的了,至少比其他文章中要显的简单易懂。

    数据中台 = 数据仓库?你的答案是Yes么?

    我们都知道目前使用数据中台的都是哪些企业?发起者:阿里巴巴,看过阿里的大数据之路的话,应该比较能理解为什么阿里需要引用数据中台的概念出来。

    原因有很多,互联网企业,数据产生的速度,体量都是中国企业的No.1,想用传统的数据仓库来解决数据决策乃至对外提供服务么?基本不可能?有什么业务部门能够等IT两周的时间去设计,开发,测试再上线?基本上互联网企业要求的时效性都是最高的,因为数据的产生要服务于下一个业务环节,任何多余的等待都是在影响企业盈利。基于此,几乎所有的中国互联网企业都一股脑的奔向了数据中台,试图拥抱数据中台来解决他们的问题。

    那么搭建数据中台需要什么?很显然,互联网企业需要的是大数据人才,这也是为什么数据中台的架构设计中基本上都是Hadoop生态环境的产品组件,Flink,Kafka,Strom,ELK,Spark Stream,MySQL等,国内数据中台的搭建首先想到的是拥有这批技能的专业人才,那么他们是哪类人才?程序员,没错,我们口中所说的Programer。

    数据中台 = 数据仓库?你的答案是Yes么?

    但是Programer != Modeler,为什么数据仓库体系很少能够给这类互联网企业带来直接的盈利?因为变现太难了,互联网企业业务变化日新月异,每天都可能有无数个idea出来,业务部门想第一时间去尝试,然后就有了数据中台,以大数据,实时分析,机器学期,集群...等大数据基础支撑起来的产品。

    那么数据中台是否仍有问题?我猜是数据模型设计,看看上图,ODS,DWS,DWD,ADS,沿用的是Kimball的维度设计理论,反范式化的模型设计,的确一定程度上让复杂的业务数据在多种维度上进行了统一,各个业务部门有了统一的维度模型,数据更加规范;使用SQL Query效率更高,能够以数据立方体的形式提供给决策部门有力的数据支持。这和传统的数据仓库思路一致,并没有什么差别。

    如果无法从模型角度解决适应业务变化的方案,我相信数据中台在未来一段时间内仍有很多路要走。

    个人理解,数据中台也仅仅是构建在大数据技术基础之上,为了适应业务快速发展变化,目标是为了提供可复用的数据服务的一种方案,但是由于其模型理论上的缺陷,只能依靠技术去解决和适应变化,未来一定是需要修正的。它包含了部分的数据仓库的概念,但是与企业级数据仓库仍有区别,从理论到技术,再到应用场景都有巨大的区别。

    下篇文章,我们可以从数据模型角度出发,讨论一下企业级数据仓库应该如何搭建。

    欢迎批评指正。

    相关文章

      网友评论

        本文标题:数据中台 = 数据仓库?你的答案是Yes么?

        本文链接:https://www.haomeiwen.com/subject/ddhhwctx.html