HDFS命令行操作指南

命令前缀： hadoop fs

一. 显示命令参数手册

-help

示例： hadoop fs -help

二. 显示目录信息

-ls

示例： hadoop fs -ls /

三. 在hdfs上创建目录

-mkdir

示例： hadoop fs -mkdir -p /new_dir/cc/ss

四. 追加文件到已存在的文件末尾

--appendToFile

示例： hadoop fs --appendToFile /file1 /hdfs_file

五. 显示内容

1. 显示文件内容 -cat

   示例：
   hadoop fs -cat /hdfs_file

1. 显示文件末尾 -tail

   示例： hadoop fs -tail /hdfs_file

3. 以字符形式打印文件内容 -text

   示例： hadoop fs -text /hdfs_file

六. 文件传输

1. 从本地剪切到hdfs -moveFromLocal

   示例： hadoop fs -moveFromLocal /localFile /hdfs_file
   

2. 本地复制到hdfs -copyFromLocal

   示例： hadoop fs -copyFromLocal /localFile /hdfs_file
   

3. 本地上传到hdfs，同2 -put

   示例：  hadoop fs -put /localFile /hdfs_file
   

4. hdfs拷贝到本地 -copyToLocal

   示例：  hadoop fs -copyToLocal /hdfs_file /localFile
   

5. hdfs下载到本地，同4 -get

   示例：  hadoop fs -get /hdfs_file /localFile
   

6. hdfs的一个路径拷贝到hdfs另一个路径 -cp

   示例：  hadoop fs -cp /hdfs_file1 /hdfs_file2
   

7. hdfs的一个路径移动到hdfs另一个路径 -mv

   示例：  hadoop fs -mv /hdfs_file1 /hdfs_file2
   

8. 从hdfs中删除文件或文件夹 -rm

   示例：  hadoop fs -rm -r /hdfs_file
   

   其中-r 表示递归删除

9. 从hdfs中合并下载多文件 -getmerge

   示例：  hadoop fs -getmerge /hdfs/log.* /local/log.sum
   

七. 统计文件系统的可用空间信息

-df -h

示例： hadoop fs -df -h /

八. 统计文件夹的大小信息

-du

示例： hadoop fs -du -s -h /

九. 统计指定目录下的文件节点数量和大小

-count

示例： hadoop fs -count /hdfs/

十. 集群管理命令##

1. 查看dfs集群工作状态

    hdfs dfsadmin -report
   

2. 离开安全模式

    hdfs dfsadmin -safemode leave