美文网首页
【awk】输出和过滤重复行【转载】

【awk】输出和过滤重复行【转载】

作者: Silver_42ac | 来源:发表于2020-04-07 14:28 被阅读0次

转载自
AWK 输出重复的行 去掉重复的行

awk 'a[$0]++' filename   //用于输出重复的行

awk '!a[$0]++' filename //用于去掉重复的行

其主要的原理,是利用AWK的类似字典的a, 用每一行的内容作为索引,如果行不存在 则没有a[0], 返回 False。 如果当前行(0)有内容,则默认 a[0]=0, 也为False;但是当读到相同内容时,a[0]=a[$0]+1

实际上 awk 这里是在判断,因为没写在花括号里;和grep 一个效果

a[$0]++先返回,而后++

第二次读到相同的行,a[$0]++返回非0值。

相关文章

  • 【awk】输出和过滤重复行【转载】

    转载自AWK 输出重复的行 去掉重复的行 其主要的原理,是利用AWK的类似字典的a, 用每一行的内容作为索引,如果...

  • uniq

    uniq 命令 命令简介 uniq命令可以用于过滤或者输出重复行

  • mysql批量备份数据库shell脚本

    awk NR>2 过滤第一第二行

  • grep sed参数整理

    1.grep 过滤sed 增删改查 过滤 替换 修改 取行awk 过滤 取列 统计计算grep 过滤-i 过滤不...

  • awk小结

    awk 参考 AWK简明教程|coolshell 文本 输出第1列与第4列 格式化 过滤记录 内建变量 指定分隔符...

  • linux 命令awk & print

    awk处理过程: 依次对每一行进行处理,然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} /...

  • Linux常用命令总结

    Linux一次执行多条命令:使用for awk 输出奇数行 awk '{if(FNR%2!=0) print FN...

  • awk

    awk的简介和功能 awk: Linux 文本处理三剑客:grep、sed和awk。其中grep是一种文本过滤工具...

  • awk的用法

    1.awk语法 awk 'pattern {action}' file awk:指令名称 pattern:过滤器 ...

  • 文本处理grep和sed

    一:grep 2、 过滤出带有某个关键词的行并输出行号 3、过滤不带有某个关键词的行,并输出行号 4、 过滤出所有...

网友评论

      本文标题:【awk】输出和过滤重复行【转载】

      本文链接:https://www.haomeiwen.com/subject/pnabpctx.html