美文网首页
4.阿里大数据——离线数据开发

4.阿里大数据——离线数据开发

作者: 路小漫 | 来源:发表于2021-07-16 17:27 被阅读0次

阿里巴巴的数据计算层包括两大体系:

  • 数据存储及计算平台
    • 离线计算平台MaxCompute
    • 实时计算平台StreamCompute
  • 数据整合及管理体系(OneData,现在应该叫DataWorks

一、数据开发平台
阿里数据研发岗位工作概况:了解需求——模型设计——ETL开发——测试——发布上线——日常运维——任务下线。

  • 统一计算平台:MC
  • 统一开发平台:DataWorks——数据开发
    二、 任务调度系统
    DataWorks:
  • 任务发布
  • 运维中心
  • 数据开发——调度配置

阿里的DataWorks集开发和运维于一体,文章编写的时候还没有该产品

相关文章

  • 4.阿里大数据——离线数据开发

    阿里巴巴的数据计算层包括两大体系: 数据存储及计算平台离线计算平台MaxCompute实时计算平台StreamCo...

  • dataX是阿里开源的离线数据库同步工具的使用

    dataX是阿里开源的离线数据库同步工具的使用 DataX介绍: DataX 是阿里开源的一个异构数据源离线同步工...

  • SQLite

    iOS开发数据库篇—SQLite简单介绍 一、离线缓存在项目开发中,通常都需要对数据进行离线缓存的处理,如新闻数据...

  • SqlLite数据库

    一、数据库 在项目开发中,通常都需要对数据进行离线缓存的处理,如新闻数据的离线缓存等。离线缓存一般都是把数据保存到...

  • iOS学习笔记16-数据库SQLite

    一、数据库 在项目开发中,通常都需要对数据进行离线缓存的处理,如新闻数据的离线缓存等。离线缓存一般都是把数据保存到...

  • Apache doris Datax DorisWriter扩展

    DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。...

  • Apache doris Datax DorisWriter扩展

    DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。...

  • iOS开发数据库篇—SQLite简单介绍

    iOS开发数据库篇—SQLite简单介绍 一、离线缓存 在项目开发中,通常都需要对数据进行离线缓存的处理,如新闻数...

  • 数据库之移动端SQLite3

    iOS开发数据库篇-SQLite简单介绍一、应用场景-离线缓存在项目开发中,通常都需要对数据进行离线缓存的处理,如...

  • 我的简书博文地图

    目录: iOS开发 web通信获取数据 iOS Networking 离线数据保存 我的女朋友CoreData和她...

网友评论

      本文标题:4.阿里大数据——离线数据开发

      本文链接:https://www.haomeiwen.com/subject/biubpltx.html