美文网首页
数据中台-如何监控企业异常数据

数据中台-如何监控企业异常数据

作者: 严国立Terry | 来源:发表于2023-03-13 15:43 被阅读0次

    数据质量规则类型:

    1)单列数据质量规则。关注数据属性值的有无以及是否符合自身规范的逻辑判断

    不可为空类:属性不允许或在满足某种条件下不允许出现空值;如员工工号不可为空

    语法约束类:属性值满足数据语法规范取值约束;如邮箱地址需满足有效邮箱格式,身份证号满足国家标准

    格式规范类:属性值必须满足展现格式约束;如日期有多重格式,对于同一属性指定同一类格式

    长度约束类:属性值须满足约定的长度范围;如密码的长度至少要8位,不超过16位

    值域约束类:属性值必须满足已定义的枚举值列的约束;如合同的合同主类型及子类型必须是合同类型基础数据中定义的枚举值

    事实参照标准类:存在事实数据或者事实参考标准数据,与该事实或事实参照标准对比一致的约束;如中国电信通信有限公司的信息必须与国家法人数据库中的信息保持一致

    2)跨列数据质量规则。关注数据属性间关联关系的逻辑判断

    应为空值类:属性满足某种条件下不能维护值;如敏感站点不允许维护经纬度信息

    入库及时类:数据进入系统的及时性约束,通常包括数据原材料获取时间和入库时间才能进行规则设计;如通过HRMS系统中员工的入职日期和系统创建日期判断员工入职信息维护及时性

    单表等值一致约束类:某一属性值与本实体其他属性计算值相等的约束;如合同的RMB签约金额必须等于USD签约金额与汇率的乘积

    单表逻辑一致约束类:某一属性值与本实体其他属性满足逻辑关系约束(大于或小于);如合同的关闭日期不能早于注册日期

    3)跨行数据质量规则。关注数据记录之间关联关系的逻辑判断

    记录唯一类:记录不重复,存在可识别的业务主键进行唯一性判断,是对数据集内是否存在相似或重复记录的约束规则;如法人客户中国移动通信股份有限公司只能存在唯一一笔

    层级结构一致约束类:存在层级结构的属性,同层级属性结构一致;如所有子网类型的客户,满足总部-分布-子网的三层结构

    4)跨表数据质量规则。关注数据集关联关系的逻辑判断

    外关联约束类:引用其他业务对象属性时,所维护的属性值必须在其他业务对象中存在的约束;如合同的签约客户必须为客户主数据中定义的法人客户

    跨表等值一致约束类:某一属性值与其他实体的一个或多个属性值的函数计算结果相等的约束;如合同的金额与合同按产品拆分后的金额之和一致

    跨表逻辑一致约束类:某一属性值满足其他实体的一个或多个属性值的函数关系的约束(大于或小于);如员工的任命日期早于员工的到岗日期

    相关文章

      网友评论

          本文标题:数据中台-如何监控企业异常数据

          本文链接:https://www.haomeiwen.com/subject/smpcrdtx.html