参考资料
https://www.iteblog.com/archives/2492.html
http://griffin.apache.org/docs/quickstart-cn.html
https://github.com/apache/griffin/blob/master/griffin-doc/ui/user-guide.md
Griffin 是什么
大数据数据质量解决方案，支持批处理和流模式，基于 Apache Hadoop 和 Apache Spark 构建。eBay 研发2017年开源，2018年12月12日，Apache Griffin 成功晋升成 TLP 的，目前是 0.5.0 版本。Griffin 是模型驱动的解决方案，核心是模型引擎（Model Engine）。
框架的能力：
- 可以处理不同的任务（定义数据质量模型、执行数据质量测量、自动化数据分析）
- 可以跨多个数据系统
- 提供统一数据质量可视化页面
项目产生背景
不同团队开发了各自的工具在其专业领域检测和分析数据质量问题。希望能建立一个普遍适用的平台，提供共享基础设施和通用的特性来解决常见的数据质量问题，得到可信度高的数据。
当数据量达到一定程度并且有跨越多个平台时（实时数据和离线数据），数据数量验证十分困难。
在 eBay 的数据处理中，发现存在着如下问题：
- 当数据从不同的数据源流向不同的应用系统的时候，缺少端到端的统一视图来追踪数据血缘（Data Lineage）。在解决数据质量问题上要花费许多不必要的时间去寻找上游数据。
- 缺少一个实时的数据质量检测系统。需要这样一个系统：数据资产（Data Asset）注册，数据质量模型定义，数据质量结果可视化、可监控，当检测到问题时，可以及时发出警报。
- 缺少一个共享平台和接口服务，让每个项目组无需维护自己的软硬件环境就能解决常见的数据质量问题。
为了解决以上种种问题，Griffin 平台从而诞生了。其主要包含以下特性（各种维度的检测）：
- 精确度检测：验证结果集数据是否与源数据是一致的
- 数据剖析：利用数据集的一致性、独特性和逻辑性，来进行统计分析和数值评估。
- 异常监测：利用预先设定的算法，检测出不符合预期的数据
- 可视化监测：利用控制面板来展现数据质量的状态。
- 实时性：可以实时进行数据质量检测，能够及时发现问题。
- 可扩展性：可以用于多个数据系统。
- 用户友好页面：Griffin 提供了一个简洁易用的用户界面，可以管理数据资产和数据质量规则；同时用户可以通过控制面板查看数据质量结果和自定义显示内容。
Apache Griffin 架构
官方给出的架构图如下，分为三层：
- Define：数据质量模型定义，定义数据质量统计的维度，比如：时间跨度、统计类型（源端和目标端的数据数量是否一致、数据源里某一字段的非空的数量、不重复值的数量、最大值、最小值、Top5的值数量等）
- Measure：主要负责执行统计任务（On Spark），生成统计结果。
- Analyze：主要负责保存与展示统计结果。
arch-1
从功能上可以划分三个主要的层次
- 数据收集处理层
- 后端服务层
- 用户界面
arch-2
数据收集处理层
模型引擎（Model Engine）是核心，Griffin 是模型驱动的解决方案。基于目标数据集，可以选择不同的数据质量维度执行目标数据质量验证。
内置的程序库能 batch 和 streaming 两种类型的数据源：
- 对于 batch 数据，通过数据连接器从 Hadoop 平台收集数据。
- 对于 streaming 数据，可以连接到消息系统（kafka）做近似实时数据分析。
在拿到数据之后，模型引擎将在 spark 集群中计算数据质量。
后端服务层
服务层有三个关键组件：
- 核心服务：管理元数据，如：模型定义、订阅管理和用户定制等
- 作业调度：根据模型的定义创建并调度作业，触发模型引擎的运行并取得度量值结果，然后存储度量值，在检测到数据质量问题时发送电子邮件通知。
- 接口服务：提供 REST 接口服务，如：注册数据资产，创建数据质量模型，度量发布，度量检索，添加订阅等等。可以基于这些接口服务开发自己的用户界面。
用户界面
Griffin 有一个内置的可视化工具，基于 AngularJS 和 eCharts 开发的。
Griffin 代码结构，可对照上面的三层划分
- griffin-doc 管理文档
- measure 执行统计任务，通过 Livy 提交任务到 Spark。模型定义。
- service 服务层，提供管理接口
- ui 内置的展示层
git
安装部署
环境依赖：
- JDK (1.8 or later versions)
- MySQL(version 5.6及以上)
- Hadoop (2.6.0 or later)
- Hive (version 2.x)
- Spark (version 2.2.1)
- Livy（livy-0.5.0-incubating）
- ElasticSearch (5.0 or later versions)
Service 主要配置
- 连接各个组件
- 配置监听器
# griffin event listener
internal.event.listeners=GriffinJobEventHook
- quartz 配置
# 数据库持久化
org.quartz.jobStore.class=org.quartz.impl.jdbcjobstore.JobStoreTX
- spark 任务资源配置
- 自身环境配置
Measure 打包提交到 HDFS /griffin 路径下，执行质量检测任务时会提交这个包
使用体验
使用流程
- 注册数据资产
- 创建数据质量检测模型
- 模型执行（调度器）
- 生成质量报告
- 邮件提醒
- 页面查看
flow
注册资产
配置数据源，一般是 hive，可以通过 metastore 识别 schema 和 metadata
模型创建
每一种检测模型有一些必填配置项，并生成一个结果表达式（如：符合条件的数据比例）和配置信息
accuracy
任务创建
- 选择一个模型
- 配置运行周期
- 分别选择源和目标数据的时间周期（一般是日期分区，选择前 n 个小时/天的数据）
查看执行结果
执行结果会写入数据库，如果有异常会邮件提示，可以通过 Dashboard 查看报表
网友评论