美文网首页
数据接入数据存储平台的数据校验问题

数据接入数据存储平台的数据校验问题

作者: 有机会一起种地OT | 来源:发表于2021-09-18 20:14 被阅读0次

对于数据平台来说,是否要做业务层面上的数据校验。

站在平台作为存储,即数据服务提供方的角度,一般不参与业务逻辑,不宜进行业务层面的校验。但对数据是否为空,数值是否超出业务合理范围的校验,往往是必要的。超出数值合理范围一定是有问题的,平台可即时发出警告。

对于空值,要看是否在业务逻辑上等同于零值。若等同,则可在对外提供时替换为零。但第一手信息的存储时要保持原空值。

之所以在存储时不做任何处理,是为了避免掩盖可能的业务、系统等问题。所有数据以什么形态进入平台,就以什么形态进行存储,这样在出现问题是,可直接追溯到数据来源系统。

相关文章

  • 数据接入数据存储平台的数据校验问题

    对于数据平台来说,是否要做业务层面上的数据校验。 站在平台作为存储,即数据服务提供方的角度,一般不参与业务逻辑,不...

  • 11月4日

    昨天讲了云计算数据中心关于存储方面的问题。今天我们来讲一讲云计算数据中心关于数据接入方面的问题。传统的网络接入服务...

  • 将 MySQL 中的业务数据接入到 ElasticSearch

    业务数据接入 | 概述 所谓业务数据接入,就是将业务操作中产生的,存储在 MySQL 中的数据,导入到 Elast...

  • Zabbix API 使用

    用于调用Zabbix Api接入平台展示监控数据 一:接口概述(用于调用Zabbix Api接入平台展示监控数据)...

  • 开发中遇到的小问题-20190917

    最近在写数据平台的数据校验功能,有一个需求是如果数据校验不通过,需要对数据进行重跑。在写数据重跑(补数据)的过程中...

  • hadoop 学习笔记(4)-- hadoop IO

    hadoop 的数据完整性 数据存储或 IO 时可能损坏,需要使用校验和来检查数据完整性(校验和当然也会出错,但是...

  • 2018软考复习笔记

    软考复习笔记 计组基础、数据表示、校验码 计算机网络 数据库 计组基础、数据表示、校验码 存储 主存储器:DRAM...

  • API 安全机制 | 数据校验

    数据校验 接口层面; 数据库层面; 数据校验 | 接口层面 | 代码 数据校验 | 数据库层面 | 代码

  • Libra教程之:数据结构和存储

    前面的文章我们知道,libra会把所有的数据都存储在账本中。为了方便业务逻辑和数据的校验,这个存储是以特定的数据结...

  • 01.数据交互(跨平台交互)—数据库表为介质

    在数据的项目里,不管是中台或数仓,都涉及到数据的接入和数据的开放,这中间必然会遇到到各个平台数据交互的问题(以数据...

网友评论

      本文标题:数据接入数据存储平台的数据校验问题

      本文链接:https://www.haomeiwen.com/subject/niuygltx.html