美文网首页大数据玩转大数据Hadoop
HDFS的理解

HDFS的理解

作者: DayDayUpppppp | 来源:发表于2017-03-13 23:14 被阅读0次
1. hadoop 2.0 以上的版本都是 的默认的快大小是 128 MB
image.png
image.png
2. 存在dfs上面的文件其实都存放在了linux的文件系统只是，我们可以从linux 的文件系统上面找到
image.png
3. 后面的 .meta 文件 存放了文件的信息，比如文件块的校验和，或者是其他的信息。

这里面有一个很大的文件，就是 jdk安装包，有174MB，它会被分成两块。一个是128Mb，一个是46mb。
我们可以对这个做一个简单的计算：
我们可以看见里面有两个比较大 的文件，一个是 134217728 B,一个是 49029041 B。


image.png image.png
4. 尝试着打开一个文件
image.png

这个文件，正好是我们刚才上传的文件。

存放文件的路径 也是可以手动更改的，配置存储的路径是：
core-site.xml 文件
如果不配置的话，就是默认的路径。tmp/ 下面。

image.png

相关文章

  • Hadoop 3.0新特性

    Erasure coding in HDFS EC可以通俗的这样理解（并不准确，只是方便理解）：传统的 HDFS ...

  • HDFS的理解

    1. hadoop 2.0 以上的版本都是 的默认的快大小是 128 MB 2. 存在dfs上面的文件其实都存放...

  • HDFS理解

    引子 为什么需要HDFS？ 因为一个物理计算机的存储已经hold不住我们庞大的数据集。 HDFS的特点是什么？ H...

  • hadoop HDFS原理 解析

    hadoop HDFS原理解析01 HDFS架构•NameNode•DataNode•Sencondary Nam...

  • Hadoop实验——熟悉常用的HDFS操作

    实验目的 理解HDFS在Hadoop体系结构中的角色。 熟练使用HDFS操作常用的Shell命令。 熟悉HDFS操...

  • HDFS机制的理解

    一、写入数据HDFS写入数据时，根据block存储策略可能不同。首先要看是否启用了hadoop的机架感知，默认是关...

  • Hadoop高可用机制

    以下概念性的语言均为本人理解，欢迎大佬指出错误，小白希望深入理解请到官网 HDFS的高可用机制 HDFS高可用介绍...

  • 大数据技术原理与应用 - 实验二熟悉常用的 HDFS 操作

    实验二 熟悉常用的 HDFS 操作 一、实验目的 （1）理解HDFS在Hadoop体系结构中的角色。（2）熟练使用...

  • 成都大数据开发技术知识点，加米谷大数据培训

    Hadoop核心 (1) 分布式存储基石：HDFS HDFS简介 入门演示 构成及工作原理解析：数据块，NameN...

  • 深入理解HDFS

    一、HDFS介绍 HDFS（Hadoop Distributed File System）是Hadoop项目的核心...

网友评论

    本文标题：HDFS的理解

    本文链接：https://www.haomeiwen.com/subject/qyxcnttx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    大数据

    玩转大数据

    Hadoop

    关于我们|服务条款|联系我们|HDFS的理解|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！