7）Hadoop HDFS常用命令

基本语法

bin/hadoop fs 具体命令 或 bin/hdfs dfs 具体命令

-help 输出这个命令参数

$ hadoop fs -help rm

-ls 显示目录信息

$ hadoop fs -ls /

-mkdir 在HDFS上创建目录

$ hadoop fs -mkdir -p /sanguo/shuguo

-moveFromLocal 从本地剪切粘贴到HDFS

$ touch kongming.txt

$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo

-appendToFile 追加一个文件到已经存在的文件末尾

$ touch liubei.txt

$ vi liubei.txt

san gu mao lu

$ hadoop fs -appendToFile ./liubei.txt /sanguo/shuguo/kongming.txt

-cat 显示文件内容

$ hadoop fs -cat /sanguo/shuguo/kongming.txt

-chgrp -chmod -chown 和Linux系统中的用法一样，修改文件所属权限

$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt

$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo/kongming.txt

-copyFromLocal 从本地系统中拷贝文件到HDFS路径去

$ hadoop fs -copyFromLocal README.txt /

-copyToLocal 从HDFS拷贝到本地

$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

-cp 从HDFS的一个路径拷贝到HDFS的另一个路径

$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

-mv 在HDFS目录中移动文件

$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

-get 等同于copyToLocal，就是从HDFS下载文件到本地

$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

-getmerge 合并下载多个文件，比如HDFS的目录/aaa/下有多个文件log.1,log.2,log.3...

$ hadoop fs -getmerge /user/atguigu/text/* ./zaiyiqi.txt

-put 等同于copyFromLocal

$ hadoop fs -put ./zaiyiqi.txt /user/atguigu/text/

-tail 显示一个文件的末尾

$ hadoop fs -tail /sanguo/shuguo/kongming.txt

-rm 删除文件或文件夹

$ hadoop fs -rm /user/atguigu/test/jinlian2.txt

-rmdir 删除空目录

$ hadoop fs -mkdir /test

$ hadoop fs -rmdir /test

-du 统计文件夹的大小信息

# -s 表示目录下所有文件总和

# -h 表示优化显示效果

$ hadoop fs  -du -s -h /user/atguigu/test

-setrep 设置HDFS中文件的副本数量

$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

oiv 查看镜像文件

# -p XML 转换成XML进行展示

# -i 要转换的文件

# -o 表示要转换到哪里

$ hdfs oiv -p XML -i fsimage_00000000000000105 -o fsimage.xml

oev 查看编辑日志

# -p XML 转换成XML进行展示

# -i 要转换的文件

# -o 表示要转换到哪里

$ hdfs oev -p XML -i edits_inprogress_00000000000000105 -o ed.xml