介绍
产品概述
- 提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索
- 特点:
- 全面托管的调度:具有强大的调度能力,提供完全托管的服务(任务到了指定时间自动调动)
- 多种任务类型:数据同步,odps sql,mr,shell,机器学习
- 可视化开发:提供可视化的代码开发,工作流设计器界面
- 监控报警:可视化的任务监控,人物监控短信报警
- 数据开发流程
- 数据产生->数据收集与存储->数据分析与处理->数据提取->数据展现与分享
- 产品架构
- 原始数据:
- 云业务系统:云数据库RDS,云服务器ECS,对象存储OSS,或其他云端系统
- 本地业务系统:mysql,oracle,log,其他
- 大数据开发套件-> 管理数据权限,进行数据血缘分析,进行数据监控,做任务调度
- 数据采集存储:离线接入,实时接入
- 数据分析处理:MaxCompute,工作流
- 数据截取:数据同步
- 数据消费:BI报表,DateV,推荐引擎,其他
- 原始数据:
- 应用场景
- 将业务系统产生的数据轻松上云,构建大型数据仓库和BI应用,利用MaxCompute强大的海量存储与数据存储能力
- 基于大数据开发套件快速使用和分析数据,将大数据加工结果导出后直接应用与业务系统,实现数据化运营
- 针对作业调度与运维的复杂性,大数据快发套件提供统一友好的调度系统和和石化调度运营界面,解决运维管理不便等问题
DataIDE引擎概念
- 基本概念
- 任务(task):对数据执行的操作,通常每个使用0个或者0个以上的数据表(数据集)作为输入,生成一个或多个数据表(数据集)作为输出
- 主要分为三种:
- 节点任务:单个任务,比如说一个sql语句
- 工作流任务:多个节点任务,任务与任务之间有依赖关系
- 内部节点
- 主要分为三种:
- 实例(Instance):代表了某个任务在某时某刻执行的一个快照,包括任务的运行时间,运行状态,运行日志等信息。在调度系统中的任务进过调度系统,手动触发运行后会生成一个实例。在DataIDE的调度系统自动调度的任务,会提前生成对应的实例。==和macxcompute里不同:实例是提前生成。比如规定第二天上午九点半做,先生成,到九点半运行==
- 提交(submit):提交指开发的节点任务,工作流任务从开发IDE环境发布到调度系统的过程。完成提交以后,相应的代码,调度配置全部合并到调度系统中,调度系统按照相关配置进行调度操作。未提交的节点任务,工作流任务不会进入到调度系统
- 角色:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xJ6fYQPR-1582195452100)(9887B7343C2343F1950BEE10A1891F98)]
- 任务(task):对数据执行的操作,通常每个使用0个或者0个以上的数据表(数据集)作为输入,生成一个或多个数据表(数据集)作为输出
- 多环境
- 在开发环境开发,发布到测试环境进行测试,在发布到生产环境中
网友评论