美文网首页
4.HDFS进阶:数据与元数据之间的关系

4.HDFS进阶:数据与元数据之间的关系

作者: 逆流而上kiss | 来源:发表于2017-06-05 21:48 被阅读0次

查看NameNode.java源文件

The NameNode controls two critical tables:

  1. filename->blocksequence (namespace)
  2. block->machinelist ("inodes")
    The first table is stored on disk and is very precious.
    The second table is rebuilt every time the NameNode comes up
    —— NameNode.java

文件名和blocksequence(块顺序)信息永久保存在namenode节点上
但是block位置信息则是存在于内存之中

查看Goole File System论文第2.6.2节(摘录)

namenode节点并不永久保存datanode所拥有副本的信息,而是在每次启动的时候轮询datanode获取这些信息,并且通过周期性的心跳获取最新的信息。

这种设计简化了在有datanode服务器加入集群、离开集群、更名、失效、以及重启的时候,namenode服务器和datanode服务器数据同步的问题。

相关文章

  • 4.HDFS进阶:数据与元数据之间的关系

    查看NameNode.java源文件 The NameNode controls two critical tab...

  • an implementation of the JPA spe

    JPA规范主要包括三部分: ORM元数据,元数据描述对象与表之间的映射关系.(JPA是通过annotion或XML...

  • java二叉树遍历

    数据结构主要是数据以及数据与数据之间的关系。二叉树这种数据结构的数据:就是节点里面存放的值,数据与数据之间的关系就...

  • 数据结构探险系列—队列篇-学习笔记

    数据结构探险系列—队列篇 这是c++远征系列的进阶课程。 什么是数据结构? 一群数据集合和数据之间的关系。是指相互...

  • Hash的故事

    why hash 数据结构概念:数据与数据之间搭配和排列的关系。分为逻辑结构(数据关系)和物理结构(存储关系)算法...

  • 数据分析-002-数据指导业务

    运用数据指导业务 数据与业务之间的关系 数据和业务之间的关系不是单向的,而是双向的。它们之间是相互作用,彼此关联,...

  • MongoDB学习笔记

    mongo属于nosql非关系数据库。 一、关系与非关系数据库区别: 1、数据和数据之间不存在关系,每条数据独立个...

  • 数据结构的一些术语解释

    数据结构 数据结构(Data Structure)是指数据与数据之间的关系。在任何问题中,数据元素之间都不是孤立的...

  • 数据库(二)2018-08-24

    1. MySQL是一个关系型数据库, 关系型数据库描述的就是实体与实体之间的关系.聊到实体与实体之间的关系(表与表...

  • 2018-09-21 mongoDB

    mongoDB是一个数据库 它是介于关系与非关系之间的数据库。 关系 sql 语言 关系数据库遵循A...

网友评论

      本文标题:4.HDFS进阶:数据与元数据之间的关系

      本文链接:https://www.haomeiwen.com/subject/hsuwfxtx.html