美文网首页
数据验证

数据验证

作者: 听雪10 | 来源:发表于2022-04-06 15:52 被阅读0次

数据清晰性检验:

  1.     数据表中的字段含义是否清晰,使用数据者是否可以根据字段名基本确认字段含义,而不会产生歧义;
    
  2.     数据表及表字段是否已完善了相应的说明,相应的说明及标签是否可以更好地让数据使用者理解该中间表的含义;
    
  3.     数据表中字段的粒子性:建设好的数据表中字段的含义应该是单粒度的,同一字段不应为含义拼接字段,也不应代表不同的含义类型;
    
  4.     数据表的命名是否规范,是否可以通过数据表名理解数据表的用途。
    

数据一致性检验:

  1.     数据仓库中,数据表字段的取值是否已经规整化:不同的数据源上报的同一含义的字段的取值可能是不同的,要将不同的数据源的数据内容与标准值进行规整,统一大小写、格式,编码等;
    
  2.     在数据表中,字段的值与字段的类型是否一致:字段类型不对可能会影响数据的使用;
    
  3.     在数据表中,字段的值是否与字段的含义一致:这点在数据准确性上会做详细介绍;
    
  4.     在数据表中,根据实际情况确认字段为空的值应删除或填充。
    

数据准确性检验

  1.     字段的值与字段的含义是否相匹配:
    

a) 是否发生串位,影响错位之后数据表中各个字段值;

b) 是否把A字段的值赋于了B字段, 而影响发生错位的字段取值。

  1.     字段的值是否合法准确,这是数据准确性的基础:
    

a) 字段是否包含空值;空值是否合理;

b) 字段的取值的长度是否合法;

c) 字段的值是否属于本字段的字符集范围;

d) 字段的内容是否与定义的格式相匹配。

  1.     数据记录数检验:
    

a) 数据表的数据的总记录条数是否与原始表记录条一致;

b) 数据表的一些纬度字段的统计分布是否合理;

c) 数据表中的人均分别、最大值、最小值、中位数、众数等相关数据是否合理;

d) 在满足c1,c2的时候记录数是否与经验值相一致。

完整性检验

  1.     数据表在建设过程中是否能包含原始表的核心信息,即数据表的信息熵是否等于原来表的信息熵;
    
  2.     纬度字段取值是否涵盖所有该字段的枚举值;
    
  3.     中间表在建设过程中各个环节上的数据损耗。
    

相关文章

  • Excel单元格中加入下拉选项

    菜单→数据→数据验证→数据验证→验证条件:序列。

  • Excel高效录入数据—数据验证

    高效录入数据—数据验证 数据验证的作用 数据验证的方法 其他数据验证方法 数据验证的作用 今天来到公司,听到数据分...

  • 机器学习入门-模型验证

    混肴矩阵 交叉验证 Holdout验证 随机选取大部分数据作训练数据集,剩余数据做验证数据集 交叉验证 将数据随机...

  • Active Record 数据验证

    数据验证概览 为什么要做数据验证 数据验证确保只有有效的数据才能存入数据库,在模型中做验证是最有保障的,只有通过验...

  • Struts框架(2) - 数据效验 & Struts

    Struts数据效验 表单数据的验证:前台验证:主要是通过JS验证, 表达数据是否合法!后台验证:通过后台java...

  • struts2数据校验

    表单数据的验证: 前台验证:主要是通过JS验证, 表达数据是否合法!后台验证:通过后台java代码进行验证!Str...

  • 掌握Thinkphp3.2.0----自动验证

    自动验证是TP在create数据的时候,自动对数据进行验证。 TP提供了两种验证方式:静态验证($_validat...

  • 《Rails-Guides》Reading notes thre

    数据验证 Rails 团队认为,模型层数据验证最具普适性。 Active Record 执行验证后,所有发现的错误...

  • 纠错路上漫漫不会点套路怎么行呢

    今天我们来讲讲关于数据选项卡里数据工具组里的数据验证功能 数据验证功能能做个啥,当然是帮你节省时间啊 数据验证可根...

  • 深度学习验证码识别---验证码图片生成

    在做验证码识别之前,需要做数据准备,即验证码图片,作为后续模型训练与验证的训练数据集和测试数据集。验证码图片在制作...

网友评论

      本文标题:数据验证

      本文链接:https://www.haomeiwen.com/subject/hsnrsrtx.html