美文网首页
4.阿里大数据——离线数据开发

4.阿里大数据——离线数据开发

作者: 路小漫 | 来源:发表于2021-07-16 17:27 被阅读0次

    阿里巴巴的数据计算层包括两大体系:

    • 数据存储及计算平台
      • 离线计算平台MaxCompute
      • 实时计算平台StreamCompute
    • 数据整合及管理体系(OneData,现在应该叫DataWorks

    一、数据开发平台
    阿里数据研发岗位工作概况:了解需求——模型设计——ETL开发——测试——发布上线——日常运维——任务下线。

    • 统一计算平台:MC
    • 统一开发平台:DataWorks——数据开发
      二、 任务调度系统
      DataWorks:
    • 任务发布
    • 运维中心
    • 数据开发——调度配置

    阿里的DataWorks集开发和运维于一体,文章编写的时候还没有该产品

    相关文章

      网友评论

          本文标题:4.阿里大数据——离线数据开发

          本文链接:https://www.haomeiwen.com/subject/biubpltx.html