导致数据异常的原因：
业务系统方的问题，可能是表结构或者是环境的变更，也可能是相关bug导致数据异常。
数据开发问题，任务上线后数据源、分区未进行更换，未处理异常格式，任务依赖关系错误。
资源问题，由于数据量暴涨或者新任务的提交导致资源不够，未及时产出出局。
基础设施故障，软硬件的bug导致任务未正常运行。
而在数据出现异常时常常会伴随着这样几个问题：
开发人员发现得晚，容易到相关人员实用时才发现并投诉。无法快速定位问题源。
上游出现数据异常时，下游依然正常运行，等修复时需要花费长时间重跑。
所以核心就是要尽快恢复数据异常。
提高数据质量解决方法：
添加稽核校验任务，根据规则对表进行检查，出现相关问题进行报警，并根据需要决定是否终止后续任务运行。可以建立全链路的任务校验，及时发现问题出在哪，资源有限的情况只对核心任务进行校验。在无法按时产出的情况要保证重要任务优先运行。
规则包括但不限于完整性规则、一致性规则、准确性规则。完整性规则主要是衡量数据的完整度问题，数据是否异常；一致性规则主要是多个数据之间有一定的换算关系，是否可以相互验证；准确性规则主要是数据相关格式是否正确。同时根据业务情况需要补充一些业务规则。
数据质量衡量的方法：
可以统计规定时间内任务完成率。根据数据稽核规则进行数据评分，以供改进。统计需要立即处理的报警此处。计算最终应用上的数据不可用时间。
数据质量中心：
创建稽核校验的规则以及对以上提到的稽核任务进行监控和统计，并对相关数据质量进行评分。
网友评论