美文网首页
阿里巴巴云上数据中台03_实施案例

阿里巴巴云上数据中台03_实施案例

作者: 一个数据人的自留地 | 来源:发表于2020-07-22 20:12 被阅读0次

    关注V-X 一个数据人的自留地 免费获取资料

    1、回复“数据中台”,获取<大厂数据中台资料>

    2、回复“数据产品”,获取<大厂数据产品面试题>

    3、回复“交个朋友”,进入<交流群>

    前面我们聊了阿里构建数据中台“三步走”项目计划:

    第一阶段:完成全局架构。

    第二阶段:抓住关键业务的数据建设。

    第三阶段:全面铺开,逐步推进各个登月项目的数据公共层建设。

    在阿里巴巴数据公共层建设第一阶段和第二阶段完成之后,不仅取得了降本提效的成果,也培养了数据专业人才,加强了数据团队内以及与业务团队间的连接和信任。

    所以在第三阶段全面铺开过程中,遇到的阻碍很少,相反,还得到很多支持。

    第三阶段主要完成了:数据公共层运营、元数据打通、天猫数据中间层建设、数据资产管理平台、基于元数据的数据建模工具、onedata体系全流程工具化。

    草帽小子思考:着整个三步走项目计划,跟打革命时,有异曲同工之处。最开始人手不足时,先制定整体作战计划;然后攻破关键城市;有一定影响力后,招兵买马,全面铺开和推进。

    毕竟中台的建设关联到多个业务方,甚至牵动着业务方的利益。业务方会想,数据放在我这,我们自己提需求,自己开发,多便捷,何必需要外人来横插一脚。

    这时数据团队需要以专业性来征服业务方,让业务方感受到甜头,这样,接下来的事情也就顺理成章了。

    前边我们聊了很多建设过程和方法,那在整个计划中,有没有一些直观的案例呢?

    公共层建设案例:

    1.淘系数据基础层治理项目

    针对TBODS(淘宝数据基础层)当时存在的问题进行专项治理,将TBODS简化,并制定规范,采取措施持续维护,降低ODS数据基础层的存储资源和计算资源的消耗。

    2.日志数据公共层建设项目

    基于阿里巴巴数据公共层初始化建设的成功,进一步完善日志流量模型,包含攻坚无线流量交易引擎模型,以及完成流量分析产品的重构与支持新需求。

    草帽小子思考:公司大多会先将精力放在更贴靠业务的业务数据上,而日志数据及埋点数据往往会被忽视,缺乏专人维护,数据口径不一。

    3.实现阿里巴巴数据公共层统一性重构

    将小微金服依赖的云计算环境1上的数据迁移到公共数据层依赖的云环境2上。

    4.聚划算数据中间层建设项目

    基于阿里巴巴数据公共层,规划出聚划算事业部的数据中间层,用于更标准、更快捷的服务聚划算业务。

    5.搜索数据中间层建设项目

    建设淘系主搜索与主客户端搜索数据中间层迁移报表。

    6.1688数据公共层与数据应用层建设项目

    基于1688的数据公共层与数据应用层登月建设,实现1688业务的对内对外应用。

    7.阿里经营关键数据建设项目

    基于阿里巴巴数据公共层,统一对内、对外数据口径,提供COO重点关注的指标。

    8.核心运营数据与行业数据建设项目

    基于阿里巴巴数据公共层,迁移云计算环境1上的核心运营报表,同时整合行业数据,完成并完善服务阿里小二的行业360产品。

    9.无线数据公共层建设专项

    在阿里巴巴数据公共层建设第二阶段二期中,应业务部门需要而追加启动的场景化专项,旨在构建统一的无线数据公共层,以顺应”ALL IN 无线“的大潮。

    草帽小子思考:十几个无线端应用间的数据不打通,用起来是挺难受的,各用各的,在新增一个维度限定为移动端的指标时,需要从各个明细层拉表找数。

    10.实时数据公共层建设专项

    在阿里巴巴数据公共层建设第二阶段第二期中,应技术部门与业务部门的需求而追加启动的技术探索专项,旨在构建统一的实时数据公共层,提升技术的同时,提升技术部门的业务体验。

    草帽小子思考:目前是零零散散用了一些实时数据,主要靠四处找表、拉表,若是能够做好实时数据的数仓建设,也能避免很大程度上的找数的烦扰。




    一个数据人的自留地是一个助力数据人成长的大家庭,帮助对数据感兴趣的伙伴们明确学习方向、精准提升技能。

    扫码关注我,带你探索数据的神奇奥秘


    相关文章

      网友评论

          本文标题:阿里巴巴云上数据中台03_实施案例

          本文链接:https://www.haomeiwen.com/subject/ztotlktx.html