HDFS常见的shell操作_学习笔记

1、-ls显示目录信息

查看HDFS根目录下面的文件

[root@bigdata03 ~]# hadoop fs -ls /
Found 14 items
drwxrwxrwx   - root    root                0 2021-01-11 22:29 /benchmarks
drwxr-xr-x   - root    root                0 2020-09-13 23:41 /file
drwxr-xr-x   - root    root                0 2021-03-02 22:49 /hbase
drwxr-xr-x   - root    root                0 2020-10-08 23:19 /log
drwxrwxrwx   - root    root                0 2020-10-05 14:09 /myhive_db
drwxrwxrwx   - root    root                0 2020-12-15 23:30 /origin_data

查看HDFS “/hbase/data/”目录下面的文件

[root@bigdata03 ~]# hadoop fs -ls /hbase/data/
Found 2 items
drwxr-xr-x   - root root          0 2021-02-24 23:32 /hbase/data/default
drwxr-xr-x   - root root          0 2020-10-17 22:24 /hbase/data/hbase

递归查询HDFS的文件系统目录

[root@bigdata03 ~]# hadoop fs -ls -R /
[root@bigdata03 ~]# hadoop fs -lsr /

2、-mkdir:在HDFS上创建目录

递归创建目录“/20210302_sanguo/shuguo”
递归创建文件夹用mkdir -p

[root@bigdata03 ~]# hadoop fs -mkdir -p /20210302_sanguo/shuguo
[root@bigdata03 ~]# hadoop fs -ls /
Found 15 items
drwxr-xr-x   - root    root                0 2021-03-02 23:19 /20210302_sanguo
drwxrwxrwx   - root    root                0 2021-01-11 22:29 /benchmarks
drwxr-xr-x   - root    root                0 2020-09-13 23:41 /file
drwxr-xr-x   - root    root                0 2021-03-02 22:49 /hbase
drwxr-xr-x   - root    root                0 2020-10-08 23:19 /log
drwxrwxrwx   - root    root                0 2020-10-05 14:09 /myhive_db
drwxrwxrwx   - root    root                0 2020-12-15 23:30 /origin_data

3、-appengToFile:追加一个文件到已经存在的文件的末尾

将本地文件追加到HDFS文件

hadoop fs -appengToFile  本地文件路径  HDFS文件路径

4、-cat显示文件内容

[root@bigdata03 ~]# hadoop fs -cat /wc.txt
hello hadoop

5、-chgrp,-chmod,-chown:跟liunx文件系统的用法是一样的，修改我呢见所属权限

6、-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去

7、-copyToLocal:从HDFS拷贝到本地

8、-cp:从HDFS的一个路径拷贝到HDFS另外一个路径

hadoop fs -cp HDFS源路径  HDFS目标路径

9、-mv:在HDFS目录中移动文件

hadoop fs -cp HDFS文件路径 HDFS文件移动后的路径

10、-get:等同于copyToLocal，就是从HDFS下载文件到本地

hadoop fs -cp HDFS文件路径 下载后的文帝路径

11、-getmerge:合并下载多个文件，比如HDFS的目录/aaa/下有多个文件：log.1,log.2,log.3……

12、-put:等同于copyFromLocal，从本地上传文件HDFS

13、-tail:显示一个文件的末尾

监控新产生文件的变化

14、-rm:删除文件或文件夹

15、-rmdir:删除空目录

16、-du:统计文件夹的大小

统计HDFS根目录下的文件大小

17、-setrep:设置HDFS文件的副本数量