美文网首页
数据平台从0到1搭建流程

数据平台从0到1搭建流程

作者: 浩瀚如星辰 | 来源:发表于2017-07-19 20:23 被阅读0次

一、业务梳理

业务梳理应该是所有需求开始的第一步了。

首先,明确公司的战略目标,结合用户/业务的痛点分别梳理出几个大的维度

其次,再针对大的维度梳理相关指标项

拿我参与的项目举例:由于我处于房地产行业,维度切分从城市、市场、人等,再逐级细化,分析市场现状、城市配套、人群画像等等维度,继续下钻,梳理出的指标应符合业务实际场景。

二、供应商寻找与考察

数据平台的数据可以是内部自有数据,也可以是外部数据。涉及外部数据的时候,就需要供应商提供数据支持。

       寻找供应商节点

       当需求梳理出大概的时候,可以一边开始画原型,另一边就可以着手寻找数据供应商,寻找供应商的节点过早,需要的具体的指标还未定,寻找的过晚,可能有的数据很多供应商还提供不了。所以在寻找供应商并了解数据市场情况下,根据数据获取难易程度,业务痛点等排需求的优先级

      寻找供应商目的

      目的除了寻找数据支撑外,也是一个了解数据市场的过程,了解数据的来源、获取手段、用途、是否触及法律红线。

      供应商考察

      有的供应商很牛逼,手里有渠道,积累了很多行业数据。而有的供应商,你会发现他就是个拉皮条的,手里没有核心资源,相当于帮你找各种渠道,做各种资源整合。在判断供应商的实力后,可以通过命题的方式,不过这多少有点骗方案的嫌疑在里面,验证供应商的实力。如果不愿出方案,就看看他们的过往案例,判断是否合作。

三、数据对接

供应商确定后,此时已进入开发阶段。相应需要的信息项,作为产品经理要整理好,并让数据供应商确定所有的信息项字段能否提供。确定后数据供应商就可以进入接口开发阶段。

数据供应商根据这个设计接口,通过接口服务的形式导入到本地数据库。当然,由于数据量较大,本地库只用来存储基础数据,为了系统的性能和图表加载速度,基础数据还需要做些处理,通过存储过程加ETL的形式,导入开发库,做最终结果展示,从而省去了计算的时间。

以上内容说了数据平台搭建过程的重要且关键的点,省去的需求分析细节,项目管理、把控开发流程那些;和其他项目都一样,就不赘述了。

- E N D -

如有问题或更好建议,欢迎进群与我讨论,QQ群号:304459226

相关文章

  • 数据平台从0到1搭建流程

    一、业务梳理 业务梳理应该是所有需求开始的第一步了。 首先,明确公司的战略目标,结合用户/业务的痛点分别梳理出几个...

  • 从0到1搭建大数据平台之计算存储系统

    前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》,今天给大家讲一下...

  • 从0到1搭建大数据平台之数据采集系统

    关于从0到1搭建大数据平台,之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了,接下来我们会分步讲解搭...

  • 从0到1搭建大数据平台

    大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发,大数...

  • 搭建大数据平台系列(2)-zookeeper环境搭建

    目前本系列文章有:搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,ya...

  • 搭建大数据平台系列(3)-hbase环境搭建

    目前本系列文章有:搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,ya...

  • 大数据平台从0到1

    大数据平台构建方法大同小异,但是平台构建以后也面临很多挑战,在面临这些挑战我们如何去克服、修复它,让平台更好满足用...

  • 从0到1搭建自助分析平台

    一、什么是自助分析平台 自助分析平台是构建在大数据平台之上的,依托于大数据平台的数据研发能力,通过统一的数据服务,...

  • 从0到1搭建大数据平台之调度系统

    目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据,定时跑hive/...

  • 从0到1搭建消息推送管理平台

    一、推送的定义与价值 个人将推送的定义为消息发送方将信息传递给接受者的行为。结合到我们日常的场景,就是公司的运营同...

网友评论

      本文标题:数据平台从0到1搭建流程

      本文链接:https://www.haomeiwen.com/subject/vnlrkxtx.html