美文网首页大数据精进之路
说说数仓(2) - 传统数仓与互联网数仓

说说数仓(2) - 传统数仓与互联网数仓

作者: 橘猫吃不胖 | 来源:发表于2018-07-02 20:48 被阅读254次

    刚看到几篇文章,写得非常好,感觉是最近看到关于数仓关于数据平台最好的文章了,这里简单总结下自己觉得好的地方。
    原文链接:
    我所经历的大数据平台发展史(一):非互联网时代 • 上篇
    我所经历的大数据平台发展史(二):非互联网时代 • 下篇
    我所经历的大数据平台发展史(三):互联网时代• 上篇
    我所经历的大数据平台发展史(四):互联网时代• 下篇

    前言

    上面几篇文章总结的真的非常好,大家一定要去看看,对于传统数仓和互联网数仓,我也算是都接触过,有点儿感触。以前在一家物流企业做BI项目,当时我们项目定位是:公司级的商业智能分析项目,是高度重视的,所有部门都需要紧密配合。当时项目调研立项就花了半年时间,一期上线花了1年左右的时间,参与人员有100多人。还有很多的IBM顾问,对于当时还是菜鸟的我,真心学到了不少东西。
    这算是传统数仓了,当时我们使用的是EMC的一体机,使用GreenPlum搭建数仓,分层架构的话,是ODS+DM+AS,ETL和报表用的是IBM的Datastage和Cognos,在当时来说算是很好的了,不管是硬件还是软件还是人员配备,都很可以了。
    这时候,我们可以引入一张上面的图:



    的确是这样,当时我们是商业智能分析组,组内呢,又会分为模型组、ETL组、报表组、前端组、业务支撑组,这个图描述的非常好。
    然而,到了互联网公司,耗费这么多人力、物力的项目是根本不可能的,一个数据团队,几十人差不多了,人员配备也不会那么全,可能并没有非常专业的ETL开发和数仓建模人员,一般来看,是这样的:



    我现在就是在一家互联网公司,架构上的确是这样,分析师独占一片天,他们写了各种各样的表,已然是数据平台建设者了,一开始我也想着,将底层全部封装,让分析师基于数仓的表分析,但是后来人员配比实在太大,只能培训下分析师,让他们遵守规范,参与到数仓建设中来。

    好了,先简单说用户群这一点,我们后面再继续说。

    相关文章

      网友评论

        本文标题:说说数仓(2) - 传统数仓与互联网数仓

        本文链接:https://www.haomeiwen.com/subject/taugyftx.html