//本系列是基于DMBOK2的学习过程中的知识点整理，方便学习与回顾//
数据质量管理是一项持续性工作，它包括项目和维护工作，以及承诺进行沟通和培训。对组织来说，关注如何管理和提高数据质量是贵关键的变革之一，这种持续性的变革需要组织内各级人员的坚定领导和参与。
一、基础概念
数据质量管理的定义是“为确保满足数据消费者的需求，应用数据管理技术进行规划，实施和控制管理活动”
1.1 目标
数据治理管理应该关注如下目标
1）根据数据消费者的需求，开发一种受管理的方法，使数据适合要求；
2）定义数据质量控制的标准和规范，并作为整个数据生命周期的一部分；
3）定义和实施测量、监控和报告数据质量水平的过程；
4）通过过程和系统改进，识别提高数据质量的机会
1.2 原则
1）重要性 - 关注对企业和客户最重要的数据
2）全生命周期管理
3）预防 - 重点放在预防数据错误和降低数据可用性上
4）根因修正 - 找到根本原因，并对导致发生的流程和系统进行更改
5）治理 - 通过数据治理活动来支持高质量数据的开发
6）标准驱动 - 治理需要要以可测量的标准形式来定义
7）客观测量和透明度-和利益相关方共同讨论和分享测量过程与方法
8）嵌入业务流程
9）系统强制执行
10）与SLA关联
1.3 数据质量问题的风险
低质量的数据会给组织带来各类风险：会损害组织的声誉，导致罚款、收入损失、客户流失和负面媒体曝光。
1.4 名词解释
1. 数据质量： 它既指高质量数据的相关特征，也指用于衡量或改进数据质量的过程。 数据质量取决于场景和消费者需求，如果数据满足数据消费者应用需求的目的，那就是高质量的。
二、人员
2.1 组织文化变革
1）首先要提高组织对数据作的用和重要性的认识；
2）需要让员工理解低质量数据的组织成本和数据质量低下的原因；
3）为员工提供培训和强化训练来确保数据质量
三、领域知识与技术
3.1 数据质量的维度
数据质量维度是指数据的某个可测量的特性。
1. Strong-Wang 框架 - 侧重于数据消费者对数据的看法
1）内在数据质量： 准确性，客观性，可信度，信誉度
2）场景数据质量：增值性；关联性；及时性；完整性；适量性
3）表达数据质量：可解释性；易理解性；表达一致性；简洁性
4）访问数据质量：可访问性；访问安全性
2. Thomas Redman框架 - 将数据项定义为“可表示的三元组”，一个实体属性域与值的集合
1）数据模型：内容；详细程度
2）属性域的精准度：构成；一致性；应变性；数据值；数据表达
3. Larry English的综合指标
1）固有特征：定义一致性，值域的完备性，有效性，数据源准确性...
2）实用特征：可访问性，及时性，语境清晰性，可用性，可整合型，完整性...
4. DAMA UK的6大核心维度
完备性，唯一性，及时性，有效性，准确性，一致性
5. 有普遍一致性的数据质量维度定义
1）准确性(Accuracy)：数据表示真实实体的程度；
2）完备性(Completeness)：是否存在所有必要的数据；
3）一致性(Consistency)：数据值在数据集内和数据集之间表达的相符程度
4）完整性(Integrity): 引用完整性
5）合理性(Reasonability): 数据模式符合预期的程度
6）及时性(Timeliness)：反应数据值是否保持最新，它需要根据预期的波动性来理解及时性度量
7）唯一性(Uniqueness): 任何实体不会出现重复
8）有效性(Validity): 数据值与定义的值域一致
6. 数据质量ISO标准
ISO 8000定义了数据供应链中组织可以测试的一些特性，帮助组织使用标准约束数据质量。它对高质量数据的定义是“符合规定要求的可移植数据”。
ISO 22745是定义和交换主数据的标准
3.2 数据质量改进生命周期
常用方法是戴明环-PDCA。
当 有新数据/有新质量标准/现有质量测量值低于阈值时， 就需要启动一个新周期
3.3 数据质量业务规则
数据质量业务规则描述了组织内有用数据和可用数据的存在形式，这些规则用于描述质量要求
常见的业务规则类型包括： 定义一致性；数值存在和记录的完备性；格式符合性，值域匹配性.... 还可能包括聚合检查规则，比如 记录数量的合理性，数值合理性等
3.4 数据质量问题的发生原因
1. 缺乏领导力导致的问题： 领导和员工缺乏意识；缺乏治理；缺乏领导力和管理能力；难以证明改进的合理性；测量价值的工具不合适
2. 数据输入过程引起的问题：输入接口问题；列表条目匹配错误；字段重载；培训问题；业务流程变更；业务流程执行混乱
3. 数据处理功能引起的问题：数据源的错误假设；过时的业务规则；变更的数据结构；
4. 系统设计引起的问题：未执行参照完整性；未执行唯一性约束；
5. 解决问题引起的问题：手动数据修复；未经测试的代码
3.5 数据质量与数据处理活动
数据质量改进工作的重点是防止错误，但也可以通过数据处理来提升质量
1. 数据清理/清洗：检测和纠正数据，使其符合数据标准和域规则
它的手段包括 1-实施控制防止数据输入错误； 2-纠正源系统中的数据；3-改进数据录入的业务流程
2. 数据增强/丰富：给数据集添加属性以提高起质量和可用性的过程
可增加的属性有 时间戳、审计数据、参考词汇表、语境信息、地理信息、人口统计学信息等
3. 数据解析和格式化：使用预定义的规则来解释其内容和值，并重新组织
4. 数据转换和标准化：基于规则将数据值的格式进行转换
四、活动
4.1 定义高质量数据
与数据质量相关的期望并不总是已知的。所以启动数据质量方案之前，需要了解业务需求，定义术语，识别组织的痛点，并就数据质量改进的优先事项达成共识
4.2 定义数据质量战略
采纳或开发一个框架将有助于指导战略和开展战术，同时提供衡量进展和影响的方法，框架还应该考虑如果管理数据质量以及如何使用数据质量工具
4.3 识别关键数据和业务规则
数据质量改进工作通常从主数据开始。
重要性分析结果是一个数据列表
发现和识别业务规则是一个持续的过程，获得规则的最好办法是分享评估结果
4.4 执行初始数据质量评估
步骤如下： 1-定义评估目标； 2-确定要评估的数据； 3-识别数据用途和使用者； 4-识别风险； 5-根据规则检查数据；6-记录问题；7-分析问题；8-同数据管理专员/领域专家/数据消费者讨论，确认问题和优先级； 9-使用调查结果作为规划的基础
4.5 识别改进方向并确定优先级
4.6 定义数据质量改进目标
根据数据质量改进带来业务价值的一致性量化，来设定具体和可实现的目标
4.7 开发和部署数据质量操作
1. 管理数据质量规则
预定义的规则可以 1) 对数据质量特征设定明确的期望； 2）提供防止引入数据问题的控制要求；3）项供应商和外部提供数据质量要求；4）为正在进行的数据质量测量和报告创建基础
2. 测量和监控数据质量
测量的目的是： 1）向数据消费者通报质量水平； 2）管理业务或技术流程，改变引入的变更风险
测量可以在三个粒度级别上：数据集，数据实例或记录，数据元素值
3. 制定管理数据问题的操作过程
诊断问题-->制定补救方案-->解决问题-->实施解决方案
4. 制定数据质量服务水平协议
SLA规定了组织对每个系统中数据质量问题进行响应和补救的期望
5. 编写数据质量报告
数据质量评分卡，数据质量趋势，SLA指标等
五、工具与方法
5.1 工具
1. 数据剖析工具
数据剖析-data profiling是一种用于检查数据和评估质量的数据分析形式。它用统计技术来发现数据集合的真实结构、内容和质量。
它分析 空值、最大/最小值、最大/最小长度、单列的值分布、数据类型和格式。 还做跨列分析，发现重复列。
剖析是理解数据的有效方法，使组织能识别潜在的问题。但解决问题还需要业务流程分析、数据血缘分析和更深入的数据分析等来指出根本原因。
2. 其他
数据查询工具，建模和ETL工具，数据质量规则模版，元数据存储库
5.2 方法
1. 预防措施
建立输入控制；培训数据生产者；定义和执行规则；对供应商的数据质量要求；实施数据治理和管理制度；制定正式的变更控制
2. 纠正措施
1）自动纠正； 2）人工修正
3）人工检查修正： 自动工具纠正后进行人工检查
3. 质量检查和审核代码模块
4. 有效的数据质量指标
指标要满足： 可度量性、业务相关性、可接受性、问责/管理制度、可控制性、趋势分析。
5. 统计过程控制(SPC)
SPC是一种通过分析过程输入、输出或步骤的变化测量值来管理过程的方法。它的假设是一个有一致输入的过程被一致执行时，将产生一致的输出。六西格玛也是SPC的一种
SPC主要工具是控制图
6. 根本原因分析
RCA是一个理解问题发生的因素和作用原理的过程，目的是识别潜在的条件。
常见的RCA技术包括： 帕累托分析、鱼骨图分析、跟踪与追踪、过程分析、五个为什么
六、治理
6.1 数据质量制度
制定数据质量制度，并通过治理制度定期地进行质量审计
6.2 度量指标
1）投资回报； 2）质量水平； 3）数据质量趋势； 4）数据问题管理指标；5）服务水平一致性；6）数据质量技术示意图
参考资料
DAMA-DMBOK2中文版
网友评论