美文网首页大数据精进之路
说说数仓(2) - 传统数仓与互联网数仓

说说数仓(2) - 传统数仓与互联网数仓

作者: 橘猫吃不胖 | 来源:发表于2018-07-02 20:48 被阅读254次

刚看到几篇文章,写得非常好,感觉是最近看到关于数仓关于数据平台最好的文章了,这里简单总结下自己觉得好的地方。
原文链接:
我所经历的大数据平台发展史(一):非互联网时代 • 上篇
我所经历的大数据平台发展史(二):非互联网时代 • 下篇
我所经历的大数据平台发展史(三):互联网时代• 上篇
我所经历的大数据平台发展史(四):互联网时代• 下篇

前言

上面几篇文章总结的真的非常好,大家一定要去看看,对于传统数仓和互联网数仓,我也算是都接触过,有点儿感触。以前在一家物流企业做BI项目,当时我们项目定位是:公司级的商业智能分析项目,是高度重视的,所有部门都需要紧密配合。当时项目调研立项就花了半年时间,一期上线花了1年左右的时间,参与人员有100多人。还有很多的IBM顾问,对于当时还是菜鸟的我,真心学到了不少东西。
这算是传统数仓了,当时我们使用的是EMC的一体机,使用GreenPlum搭建数仓,分层架构的话,是ODS+DM+AS,ETL和报表用的是IBM的Datastage和Cognos,在当时来说算是很好的了,不管是硬件还是软件还是人员配备,都很可以了。
这时候,我们可以引入一张上面的图:



的确是这样,当时我们是商业智能分析组,组内呢,又会分为模型组、ETL组、报表组、前端组、业务支撑组,这个图描述的非常好。
然而,到了互联网公司,耗费这么多人力、物力的项目是根本不可能的,一个数据团队,几十人差不多了,人员配备也不会那么全,可能并没有非常专业的ETL开发和数仓建模人员,一般来看,是这样的:



我现在就是在一家互联网公司,架构上的确是这样,分析师独占一片天,他们写了各种各样的表,已然是数据平台建设者了,一开始我也想着,将底层全部封装,让分析师基于数仓的表分析,但是后来人员配比实在太大,只能培训下分析师,让他们遵守规范,参与到数仓建设中来。

好了,先简单说用户群这一点,我们后面再继续说。

相关文章

  • 说说数仓(2) - 传统数仓与互联网数仓

    刚看到几篇文章,写得非常好,感觉是最近看到关于数仓关于数据平台最好的文章了,这里简单总结下自己觉得好的地方。原文链...

  • 美团实时数仓建设

    实时数仓和传统数仓的对比 实时数仓和传统数仓的对比主要可以从四个方面考虑:●第一个是分层方式,离线数仓为了考虑到效...

  • 说说数仓(3) - 数仓架构

    近几年工作都和BI有关,但是真正对数仓有系统的了解还是在第一家公司的时候,当时跟着IBM的顾问,了解了很多的模型设...

  • 数仓与数仓建模

    一、数据仓库 **英文名称为Data Warehouse,可简写为[DW]或DWH。是为企业[https://ba...

  • 数据中台和数仓的关系

    传统数仓 传统数仓有几个特点: 数据具有历史性 基于文件存储 以表为形态,自带元数据存储(比如Hive) 在数仓的...

  • 说说数仓(1) - 什么是数仓

    最近几年工作中,接触到一些关于数仓建模的工作,说是建模,其实个人感觉自己也就入个门而已,有一点儿自己的理解,这里会...

  • 数仓入门基础-6-数仓建模

    个人博客:https://renwula.github.io/,本系列基于互联网公司数仓,使用hive搭建数仓 ...

  • 成品仓的管理诊断201706191103

    成品仓的管理异常,简单总结如下: 1、现象: 成品仓的入库数、发货数、客收数、退货数、退库数不准 2、后果: 班组...

  • 数仓--Hive--面试题准备

    数仓--Hive-面试之Hive与HBase的区别数仓--Hive-面试之Hive架构原理数仓--Hive-面试之...

  • 数仓建设规范

    本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段...

网友评论

    本文标题:说说数仓(2) - 传统数仓与互联网数仓

    本文链接:https://www.haomeiwen.com/subject/taugyftx.html