美文网首页
阿里云大数据ACA考试-笔记(三)

阿里云大数据ACA考试-笔记(三)

作者: didadu | 来源:发表于2020-04-09 21:50 被阅读0次

    介绍

    产品概述

    • 提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索
    • 特点:
      • 全面托管的调度:具有强大的调度能力,提供完全托管的服务(任务到了指定时间自动调动)
      • 多种任务类型:数据同步,odps sql,mr,shell,机器学习
      • 可视化开发:提供可视化的代码开发,工作流设计器界面
      • 监控报警:可视化的任务监控,人物监控短信报警
    • 数据开发流程
      • 数据产生->数据收集与存储->数据分析与处理->数据提取->数据展现与分享
      • 产品架构
        • 原始数据:
          • 云业务系统:云数据库RDS,云服务器ECS,对象存储OSS,或其他云端系统
          • 本地业务系统:mysql,oracle,log,其他
        • 大数据开发套件-> 管理数据权限,进行数据血缘分析,进行数据监控,做任务调度
          • 数据采集存储:离线接入,实时接入
          • 数据分析处理:MaxCompute,工作流
          • 数据截取:数据同步
        • 数据消费:BI报表,DateV,推荐引擎,其他
    • 应用场景
      • 将业务系统产生的数据轻松上云,构建大型数据仓库和BI应用,利用MaxCompute强大的海量存储与数据存储能力
      • 基于大数据开发套件快速使用和分析数据,将大数据加工结果导出后直接应用与业务系统,实现数据化运营
      • 针对作业调度与运维的复杂性,大数据快发套件提供统一友好的调度系统和和石化调度运营界面,解决运维管理不便等问题

    DataIDE引擎概念

    • 基本概念
      • 任务(task):对数据执行的操作,通常每个使用0个或者0个以上的数据表(数据集)作为输入,生成一个或多个数据表(数据集)作为输出
        • 主要分为三种:
          • 节点任务:单个任务,比如说一个sql语句
          • 工作流任务:多个节点任务,任务与任务之间有依赖关系
          • 内部节点
      • 实例(Instance):代表了某个任务在某时某刻执行的一个快照,包括任务的运行时间,运行状态,运行日志等信息。在调度系统中的任务进过调度系统,手动触发运行后会生成一个实例。在DataIDE的调度系统自动调度的任务,会提前生成对应的实例。==和macxcompute里不同:实例是提前生成。比如规定第二天上午九点半做,先生成,到九点半运行==
      • 提交(submit):提交指开发的节点任务,工作流任务从开发IDE环境发布到调度系统的过程。完成提交以后,相应的代码,调度配置全部合并到调度系统中,调度系统按照相关配置进行调度操作。未提交的节点任务,工作流任务不会进入到调度系统
      • 角色:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xJ6fYQPR-1582195452100)(9887B7343C2343F1950BEE10A1891F98)]
    • 多环境
      • 在开发环境开发,发布到测试环境进行测试,在发布到生产环境中

    服务开通及功能介绍

    相关文章

      网友评论

          本文标题:阿里云大数据ACA考试-笔记(三)

          本文链接:https://www.haomeiwen.com/subject/sctkmhtx.html