HDFS简单入门
作者:
lazyTai | 来源:发表于
2018-08-04 13:38 被阅读9次HDFS简单入门
HDFS简介
文件存储系统
HDFS基础概念
数据块
默认的最基本的存储单位是64M的数据块
HDFS中的文件是被分成64M一块的数据块存储的。
NameNode和DataNode
一类是NameNode,又叫“元数据节点
元数据节点用来管理文件系统的命名空间
所有的文件和文件夹的元数据保存在一个文件系统树中
命名空间镜像(namespace image)及修改日志(edit log)
另一类是DataNode,又叫“数据节点”。
数据节点是文件系统中真正存储数据的地方。
从元数据节点(secondary namenode)
启动HDFS
格式化配置的HDFS文件系统
hadoop namenode -format
启动分布式文件系统。以下命令将启动namenode以及数据节点作为集群
start-dfs.sh
列出HDFS中的文件
hadoop fs -ls <args>
将数据插入HDFS
hadoop fs -mkdir /usr/input
hadoop fs -put README /usr/input/README
hadoop fs -ls /usr/input
使用cat命令查看HDFS中的数据。
hadoop fs -cat /usr/output/README
从HDFS删除文件
./hadoop fs -rmr /usr/input/README
查看HDFS的基本统计信息
/hdfs dfsadmin -report
显示块信息
./hdfs fsck / -files -blocks
关闭HDFS
stop-dfs.sh
本文标题:HDFS简单入门
本文链接:https://www.haomeiwen.com/subject/haxmvftx.html
网友评论