美文网首页
3.HDFS的数据与元数据

3.HDFS的数据与元数据

作者: 逆流而上kiss | 来源:发表于2017-06-05 21:46 被阅读0次

查看HDFS配置文件

$ vim /etc/hadoop/conf/hdfs-site.xml

找到dfs.namenode.name.dir的位置

<name>dfs.namenode.name.dir</name>
<value>file:///dfs/nn</value>

读取元数据文件

$ cd /dfs/nn/current
$ sudo -u hdfs hadoop oiv -i fsimage_0000000000000001003 -o fsimage.xml -p XML
$ echo $?
0

注意:返回值为0表示上一条指令执行成功

查看fsimage.xml,找到block的id为1073741980

$ vim fsimage.xml

<blocks>
  <block>
    <id>1073741980</id>
  ...
  </block>
</blocks>

根据id:1073741980查找block块文件

$ cd /dfs/dn/current
$ find ./ | grep 1073741980
./BP-214804625-192.168.41.129-1495453872490/current/finalized/subdir0/subdir0/blk_1073741980_1156.meta 
./BP-214804625-192.168.41.129-1495453872490/current/finalized/subdir0/subdir0/blk_1073741980  

找到文件blk_1073741980,然后查看block块内容

$ cat ./BP-214804625-192.168.41.129-1495453872490/current/finalized/subdir0/subdir0/blk_1073741980

ln -s /usr/java/jdk1.7.0_67-cloudera  /usr/java/default
echo -e 'export JAVA_HOME=/usr/java/default' >> /etc/profile 
echo -e 'export PATH=$JAVA_HOME/bin:$PATH'>> /etc/profile
echo -e 'export CLASSPATH=.:$JAVA_HOME/lib'>> /etc/profile

这样就可以看到文件的内容
验证了设计原则:元数据和数据分开存放,通过元数据可以找到数据

相关文章

  • 3.HDFS的数据与元数据

    查看HDFS配置文件 找到dfs.namenode.name.dir的位置 读取元数据文件 注意:返回值为0表示上...

  • App 审核分析与解决

    App 审核被拒分析与解决: 1、元数据“元数据与应用内容不符 (贴近自己的软件编写上架内容)* 元数据包含不雅词...

  • 数据质量与元数据

    仓库数据质量基础知识 数据质量问题总结 缺失 不完整 不合理 冗余 冲突 数据质量关注点 合理性 一致性 及时性 ...

  • MySQL---数据库从入门走向大神系列(十一)-Java获取数

    数据库的元信息: 首先介绍一下数据库的元信息(元数据): 元数据(Metadata)是关于数据的数据。 元数据是描...

  • (一)atlas源码:源码架构

    基本信息 Aparche Atlas是Hadoop数据治理与元数据框架,对元数据进行采集分类,提供高效的查询,还支...

  • 利用元数据管理数据质量

    如何利用元数据管理数据质量:利用元数据管理数据质量 什么是元数据: 任何文件系统中的数据分为数据和元数据。数据是指...

  • 利用元数据管理数据质量

    如何利用元数据管理数据质量:利用元数据管理数据质量 什么是元数据: 任何文件系统中的数据分为数据和元数据。数据是指...

  • 数据建模-元数据

    元数据定义 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用。记...

  • 【第一节】元数据概念及其作用

    元数据是什么,为什么要用元数据? 什么是元数据 按照传统的定义,元数据(Metadata)是关于数据的数据,任何文...

  • 企业数据治理的九大成功要素

    “数据治理的九个要素”如下: 全面自动的元数据管理—— 元数据管理致力于处理技术元数据、业务元数据、管理元数据,通...

网友评论

      本文标题:3.HDFS的数据与元数据

      本文链接:https://www.haomeiwen.com/subject/eorwfxtx.html