美文网首页
数据有多值钱?看看主数据和元数据就知道啦

数据有多值钱?看看主数据和元数据就知道啦

作者: 宋懵懵的数据生活 | 来源:发表于2020-09-21 14:21 被阅读0次

数据治理中,我们总是会听到元数据和主数据,我们今天就可以来说说什么是元数据,什么是主数据。

1、元数据(metadata)

描述数据的数据,对数据及信息资源的描述性信息

大部分属性字段就是元数据。比如,性别,国籍,出生省份等。这个是最接近自然意义的的数据。

(1)在数据仓库领域中,元数据按用途分成:

业务元数据:提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据

技术元数据:支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。

(2)具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:

描述哪些数据在数据仓库中;

定义要进入数据仓库中的数据和从数据仓库中产生的数据;

记录根据业务事件发生而随之进行的数据抽取工作时间安排;

记录并检测系统数据一致性的要求和执行情况;

衡量数据质量

(3)基于应用,可以将元数据分成以下的若干种。

数据结构:数据集的名称、关系、字段、约束等;

数据部署:数据集的物理位置;

数据流:数据集之间的流程依赖关系(非参照依赖),包括数据集到另一个数据集的规则;

质量度量:数据集上可以计算的度量;

度量逻辑关系:数据集度量之间的逻辑运算关系;

ETL过程:过程运行的顺序,并行、串行;

数据集快照:一个时间点上,数据在所有数据集上的分布情况;

星型模式元数据:事实表、维度、属性、层次等;

报表语义层:报表指标的规则、过滤条件物理名称和业务名称的对应;

数据访问日志:哪些数据何时被何人访问;

质量稽核日志:何时、何度量被稽核,其结果;

数据装载日志:哪些数据何时被何人装载

(4)元数据的基本管理

元模型管理

通过可视化的用户体验实现:

a.元模型添加、删除、修改、发布等维护功能;

b.了解已有元模型的分类、统计、使用情况、变更追溯

c.每个元模型的生命周期管理等等。

元数据管理

元数据管理实现针对元数据的基本管理功能。

元数据的添加、删除、修改属性等维护功能;

元数据之间关系的建立、删除和跟踪等关系维护功能;

提供元数据发布流程管理,可以更好地管理和跟踪元数据的整个生命周期;

元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。

元数据分析

元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。

2、主数据(Master Data)

主数据(MD Master Data)指系统间的共享数据(例如,客户、供应商、账户和组织部门相关数据)。与记录业务活动,波动较大的交易数据相比,主数据(也称基准数据)变化缓慢。在正规的关系数据模型中,交易记录(例如,订单行项)可通过关键字(例如,订单头或发票编号和产品代码)调出主数据。主数据必须存在并加以正确维护,才能保证交易系统的参照完整性。

从报告或维度建模角度看,主数据指基于其组织或配置指标的维度或层次,而不是实际情况或其自身测量结果。例如,收入、成本和利润是实际情况,而时间、地点、客户和供应商是维度。

主数据和元数据的关系

主数据跟元数据的关系,举个例子的话就想是一本书,主数据就是书里边的正文,实际有用的数据,元数据就是书的目录,是索引,方便你找到主数据的。

亿信华辰应用佛山某区政务服务数据管理局元数据管理平台

建设内容:政务服务数据管理局基于区内各政府部门的数据进行汇总和治理,面向各部门提供统一的数据服务和应用,实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。本项目通过元数据管理平台,梳理各类数据来源,实现卫计委、工商局、流管局等各政府部门的元数据自动采集,理清现有的数据流转流程和数据架构,并基于其构建一套新的数据架构,同时提供数据血缘分析、影响分析等,最后形成全区的政务数据地图。

项目价值:帮助数据管理局确定数据来源和数据架构,为后续数据标准建设,数据质量管理打下坚实的基础,并为政务资源目录、自主填报系统、教育无纸化等应用提供支撑。

相关文章

  • 数据有多值钱?看看主数据和元数据就知道啦

    在数据治理中,我们总是会听到元数据和主数据,我们今天就可以来说说什么是元数据,什么是主数据。 1、元数据(meta...

  • CDMP(Meta Data)

    元数据 1. 业务驱动因素 数据管理需要元数据,元数据本身也需要管理,可靠且良好管理元数据有助于: 通过提供上下文...

  • 基于Apache doris的元数据管理系统

    这里我们要先搞懂什么是元数据?元数据和数据的区别是什么?元数据有什么作用 1.什么是元数据 举几个例子: 如果一本...

  • B树与B+树详解

    定义 B树(英语:B-tree)是一种平衡的多叉树,能够保持数据有序。这种数据结构能够让查找数据、顺序访问、插入数...

  • python持久化文件读写

    持久化文件读写: 如果数据有,就字符串转换为字典 如果数据没有就写入数据到文件 如果数据有,就字符串转换为字典

  • 「SAP技术」SAP 启用了MPN管理的物料,物料主数据与源清单

    SAP MM 启用了MPN物料管理的物料,物料主数据与源清单数据有啥不同? 物料主数据 11000245启用了MP...

  • MYSQL的主从库原理

    设置主数库和从数库的原因? 数据库是用来存储数据的,为什么要设置主数据库和从数据库呢,往往是为了读写分离,减轻因读...

  • 那些年,一起看过C 语言的常量和变量

    在C语言中,根据存储方式和表示形式,数据有常量和变量之分,就像方程有已知数和未知数一样。那么,你知道二者的区...

  • 从网络技术视角简单理解JSON、XML和YAML

    JSON、XML和YAML,都是数据有序化序言,或者说数据有序化格式。这里有必要先聊聊什么是数据有序化。 1.数据...

  • 数据探索

    数据探索是拿到数据要做的第一步,目的是对要分析的数据有个大概的了解。弄清数集质量,大小,特征和样本数量,数据类型,...

网友评论

      本文标题:数据有多值钱?看看主数据和元数据就知道啦

      本文链接:https://www.haomeiwen.com/subject/teueektx.html