数据目录管理

数据源管理

• 查看、创建、编辑、删除
• 元数据获取
  • 手动执行
  • 定时执行

数据源类型管理

• 创建数据源类型时需要添加类型的元数据模型定义，模型定义是Json格式，会提供相应的模板来供用户参考并支持在线验证格式是否正确

数据资产管理

资产类型

• 物理数据资产
  • 资产信息由元数据抓取工具实时抓取生成，类型由数据源类型决定，例如文件系统、关系型数据库、NoSQL数据库和消息队列等。
• 业务数据资产
  • 资产信息由已有数据源和业务逻辑生成，目前只支持由关系型数据库类型的数据源生成，属于派生数据源。

资产搜索

• 根据类型、名字或者标签搜索到相应的数据资产，如表、列、文件等，可点击查看该资产的详细信息。

资产详情（表级别）

概况

• 资产名字
• 资产类型
• 资产标签
• 资产相关术语
• 资产所有者
• 资产的创建时间
• 资产的更新时间
• 资产的相关指标
  • 不同资产的指标不一样，例如文件类型资产的相关指标有文件大小、文件格式等，数据库表类型的资产的相关指标有总行数、列数量等

基准

• 每一列或者选择的列的Null、Distinct Count、Max、Min、Distribution、Freshness、Uniqutes、Format等值

异常项

• 展示数据基准监控、数据质量监控、数据漂移监控中发现的异常项

样例数据

数据血缘

• 优先支持查看表之间的血缘关系
• 进行数据影响推断，尽快地发现数据质量的下游影响节点

Schema 监控

• 自动监控各种数据源的结构变化，进行schema的自动更新，同时进行告警
• 查询Schema变化历史数据

监控策略管理

策略配置

• 数据基准监控策略
• 数据质量监控策略
• 数据漂移监控策略
• 数据核对监控策略
  • 用于比对当前资产表和目标资产表的数据，包括一致性、值比对等

策略执行结果查看

数据评价体系

Metric 管理

• 内置Metric，让用户开箱即用
  • 内置多个维度多类型的Metric
• 自定义Metric
  • 支持SQL类型的自定义语句
• 根据历史数据自动推断合适的阈值

SLAs

issue管理

• 根据不同metric生成不同的issue警告，并可以管理issue的状态，超时未处理会再通知、可以点击误报来关闭issue

告警插件管理

• 支持多种告警插件，包括邮箱、企业微信、钉钉、Slack等

数据管道中任务监控

数据集成