美文网首页
HDFS ls查看文件-按照时间排序

HDFS ls查看文件-按照时间排序

作者: sparkle123 | 来源:发表于2020-12-29 17:27 被阅读0次

Hadoop2.8.0以下版本,内置是不支持按照时间等属性排序的。
我们可以结合Shell命令来实现按照文件最近修改的时间对 ls 命令输出结果进行排序。比如,按照最近修改的时间降序排序(也就是越早修改的文件显示在最下面)

hdfs dfs -ls   /spark2-history | sort -r -k6,7

为啥是-k6,7,因为第6,7个字段是时间字段。

-rwxrwx---   2 ps_pro               hadoop    1809416 2020-12-27 10:22 /spark2-history/application_1608084068201_400785_1
-rwxrwx---   2 ap_poc               hadoop     107590 2020-12-27 10:22 /spark2-history/application_1608084068201_400797_1
-rwxrwx---   2 fcv                  hadoop     113705 2020-12-27 10:22 /spark2-history/application_1608084068201_400783_1
-rwxrwx---   2 datamart_pro         hadoop     991453 2020-12-27 10:22 /spark2-history/application_1608084068201_400780_2
-rwxrwx---   2 datamart_pro         hadoop     986122 2020-12-27 10:22 /spark2-history/application_1608084068201_400795_1
-rwxrwx---   2 datamart_pro         hadoop      80683 2020-12-27 10:22 /spark2-history/application_1608084068201_400711_2
-rwxrwx---   2 rdvs                 hadoop     163833 2020-12-27 10:21 /spark2-history/application_1608084068201_400779_2
Found 60153 items

效果等同于2.8.0以上的

hdfs dfs -ls -t  /spark2-history

Usage: hadoop fs -ls [-d] [-h] [-R] [-t] [-S] [-r] [-u] <args>
Options:
-d: Directories are listed as plain files.
-h: Format file sizes in a human-readable fashion (eg 64.0m instead of 67108864).
-R: Recursively list subdirectories encountered.
-t: Sort output by modification time (most recent first).
-S: Sort output by file size.
-r: Reverse the sort order.
-u: Use access time rather than modification time for display and sorting.

相关文章

  • HDFS ls查看文件-按照时间排序

    Hadoop2.8.0以下版本,内置是不支持按照时间等属性排序的。我们可以结合Shell命令来实现按照文件最近修改...

  • HDFS命令篇

    HDFS Hadoop查看文件系统 hdfs dfs ls Found 8 itemsdrwxrwxrwx -...

  • hadoop命令

    查看hdfs的文件hadoop fs -ls /目录2.删除hdfs文件hadoop fs -rm -rf /...

  • HDFS shell操作

    创建目录hdfs dfs -mkdir 查看所有目录hdfs dfs -ls / 上传文件hdfs dfs -pu...

  • hdfs的命令行使用

    语法:hdfs dfs 参数 hdfs dfs -ls / 查看根路径下面的文件或文件夹 hdfs dfs -mk...

  • HDFS常见的shell操作_学习笔记

    1、-ls显示目录信息 查看HDFS根目录下面的文件 查看HDFS “/hbase/data/”目录下面的文件 递...

  • Linux如何使用ls命令

    ls 用来列出当前文件夹下的文件 list的含义 ls -alls -Sl 按照文件大小排序ls -Sl 按照文件...

  • Hadoop学习笔记20200422

    Hadoop常用命令1.查看所有目录及文件hdfs -ls /2.上传文件hdfs -put [-f] [-p]-...

  • hdfs的基本命令行使用

    1.ls(查看目录) 格式: hdfs dfs -ls 目标路径 作用:类似于Linux的ls命令,显示文件列表 ...

  • Linux文件管理

    ls[-a] 额外列出隐藏的文件[-d] 仅仅列出目录文件本身[-S] 按照文件大小排序[-t] 按照文件修改时间...

网友评论

      本文标题:HDFS ls查看文件-按照时间排序

      本文链接:https://www.haomeiwen.com/subject/hwfqoktx.html