美文网首页
利用元数据管理数据质量

利用元数据管理数据质量

作者: 云计算小百科 | 来源:发表于2019-04-24 15:56 被阅读0次

如何利用元数据管理数据质量:利用元数据管理数据质量

什么是元数据:

任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据块的分布信息(inode...)等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据,才能定位到文件的位置并且得到文件的内容或相关属性。

元数据管理方式;

元数据管理有两种方式。集中式管理和分布式管理。集中式管理是指在系统中有一个节点专门司职元数据管理,所有元数据都存储在该节点的存储设备上。所有客户端对文件的请求前,都要先对该元数据管理器请求元数据。分布式管理是指将元数据存放在系统的任意节点并且能动态的迁移。对元数据管理的职责也分布到各个不同的节点上。大多数集群文件系统都采用集中式的元数据管理。因为集中式管理实现简单,一致性维护容易,在一定的操作频繁度内可以提供较满意的性能。缺点是单一失效点问题,若该服务器失效,整个系统将无法正常工作。而且,当对元数据的操作过于频繁时,集中的元数据管理成为整个系统的性能瓶颈。

分布式元数据管理的好处是解决了集中式管理的单一失效点问题, 而且性能不会随着操作频繁而出现瓶颈。其缺点是,实现复杂,一致性维护复杂,对性能有一定影响。

更多精品课程:

阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场

相关文章

  • 利用元数据管理数据质量

    如何利用元数据管理数据质量:利用元数据管理数据质量 什么是元数据: 任何文件系统中的数据分为数据和元数据。数据是指...

  • 利用元数据管理数据质量

    如何利用元数据管理数据质量:利用元数据管理数据质量 什么是元数据: 任何文件系统中的数据分为数据和元数据。数据是指...

  • 如何掌握数据仓库元数据

    课程链接:利用元数据管理数据质量 通过本认证学习,学员可掌握数据仓库元数据的应用及核查方法,通过记录核查表,利用元...

  • 利用元数据管理数据质量

    Apsara Clouder大数据专项技能认证:利用元数据管理数据质量 通过本认证学习,学员可掌握数据仓库元数据的...

  • 利用元数据管理数据质量

    随着企业数据不断膨胀,数据间构成了一张极为复杂的加工关系网图。如果数据出现了错误,如何快速的锁定引发问题的原因,如...

  • 企业数据治理的九大成功要素

    “数据治理的九个要素”如下: 全面自动的元数据管理—— 元数据管理致力于处理技术元数据、业务元数据、管理元数据,通...

  • HDFS元数据管理机制

    本文章的主题如下: 什么是元数据? 元数据管理机制 Checkpoint操作 元数据 元数据管理客户端上传文件的时...

  • 大数据元数据管理系统有哪些功能

    一、大数据元数据管理系统功能 首先,实现元数据管理,我们就得先来了解元数据,那么什么又是元数据呢? (一)大数据—...

  • 大数据5个热门岗位是什么?

    数据管理需要对数据以及相应的数据定义或元数据进行适当的管理。它旨在确保(元)数据质量良好,因此是有效和高效管理决策...

  • Hadoop源码分析-Namenode 元数据管理源码分析

    [TOC] Namenode 元数据管理源码分析 本文讲解 Namenode 元数据管理源码分析,内容包括HDFS...

网友评论

      本文标题:利用元数据管理数据质量

      本文链接:https://www.haomeiwen.com/subject/givggqtx.html