美文网首页
<转载>AWK 简明教程

<转载>AWK 简明教程

作者: 一梦三四年lyp | 来源:发表于2018-02-02 09:19 被阅读0次

转载：https://coolshell.cn/articles/9070.html?utm_source=coffeephp.com

起步上台

我从netstat命令中提取了如下信息作为用例：

$ cat netstat``.txt
Proto Recv-Q Send-Q Local-Address Foreign-Address State

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 coolshell.cn:80 124.205.5.146:18245 TIME_WAIT

tcp 0 0 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

tcp 0 0 coolshell.cn:80 110.194.134.189:1032 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49809 ESTABLISHED

tcp 0 0 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

tcp 0 0 coolshell.cn:80 123.169.124.111:49829 ESTABLISHED

tcp 0 0 coolshell.cn:80 183.60.215.36:36970 TIME_WAIT

tcp 0 4166 coolshell.cn:80 61.148.242.38:30901 ESTABLISHED

tcp 0 1 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

tcp 0 0 coolshell.cn:80 110.194.134.189:4796 ESTABLISHED

tcp 0 0 coolshell.cn:80 183.60.212.163:51082 TIME_WAIT

tcp 0 1 coolshell.cn:80 208.115.113.92:50601 LAST_ACK

tcp 0 0 coolshell.cn:80 123.169.124.111:49840 ESTABLISHED

tcp 0 0 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

tcp 0 0 :::22 :::* LISTEN

下面是最简单最常用的awk示例，其输出第1列和第4例，

  • 其中单引号中的被大括号括着的就是awk的语句，注意，其只能被单引号包含。
  • 其中的$1..$n表示第几例。注：$0表示整个行。

$ awk '{print $1, $4}' netstat``.txt

Proto Local-Address

tcp 0.0.0.0:3306

tcp 0.0.0.0:80

tcp 127.0.0.1:9000

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp coolshell.cn:80

tcp :::22

我们再来看看awk的格式化输出，和C语言的printf没什么两样：

$ awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat``.txt

Proto Recv-Q Send-Q Local-Address Foreign-Address State

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 coolshell.cn:80 124.205.5.146:18245 TIME_WAIT

tcp 0 0 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

tcp 0 0 coolshell.cn:80 110.194.134.189:1032 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49809 ESTABLISHED

tcp 0 0 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

tcp 0 0 coolshell.cn:80 123.169.124.111:49829 ESTABLISHED

tcp 0 0 coolshell.cn:80 183.60.215.36:36970 TIME_WAIT

tcp 0 4166 coolshell.cn:80 61.148.242.38:30901 ESTABLISHED

tcp 0 1 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

tcp 0 0 coolshell.cn:80 110.194.134.189:4796 ESTABLISHED

tcp 0 0 coolshell.cn:80 183.60.212.163:51082 TIME_WAIT

tcp 0 1 coolshell.cn:80 208.115.113.92:50601 LAST_ACK

tcp 0 0 coolshell.cn:80 123.169.124.111:49840 ESTABLISHED

tcp 0 0 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

tcp 0 0 :::22 :::* LISTEN

脱掉外套

过滤记录

我们再来看看如何过滤记录（下面过滤条件为：第三列的值为0 && 第6列的值为LISTEN）

$ awk '$3==0 && $6=="LISTEN" ' netstat``.txt

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 :::22 :::* LISTEN

其中的“==”为比较运算符。其他比较运算符：!=, >, <, >=, <=

我们来看看各种过滤记录的方式：

$ awk ' $3>0 {print $0}' netstat``.txt

Proto Recv-Q Send-Q Local-Address Foreign-Address State

tcp 0 4166 coolshell.cn:80 61.148.242.38:30901 ESTABLISHED

tcp 0 1 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

tcp 0 1 coolshell.cn:80 208.115.113.92:50601 LAST_ACK

如果我们需要表头的话，我们可以引入内建变量NR：

$ awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat``.txt

Proto Recv-Q Send-Q Local-Address Foreign-Address State

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 :::22 :::* LISTEN

再加上格式化输出：

$ awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat``.txt

Local-Address Foreign-Address State

0.0.0.0:3306 0.0.0.0:* LISTEN

0.0.0.0:80 0.0.0.0:* LISTEN

127.0.0.1:9000 0.0.0.0:* LISTEN

:::22 :::* LISTEN

内建变量

说到了内建变量，我们可以来看看awk的一些内建变量：

| $0 | 当前记录（这个变量中存放着整个行的内容） |
| $1~$n | 当前记录的第n个字段，字段间由FS分隔 |
| FS | 输入字段分隔符 默认是空格或Tab |
| NF | 当前记录中的字段个数，就是有多少列 |
| NR | 已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。 |
| FNR | 当前记录数，与NR不同的是，这个值会是各个文件自己的行号 |
| RS | 输入的记录分隔符， 默认为换行符 |
| OFS | 输出字段分隔符， 默认也是空格 |
| ORS | 输出的记录分隔符，默认为换行符 |
| FILENAME | 当前输入文件的名字 |

怎么使用呢，比如：我们如果要输出行号：

$ awk '$3==0 && $6=="ESTABLISHED" || NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR, $4,$5,$6}' netstat``.txt

01 1 Local-Address Foreign-Address State

07 7 coolshell.cn:80 110.194.134.189:1032 ESTABLISHED

08 8 coolshell.cn:80 123.169.124.111:49809 ESTABLISHED

10 10 coolshell.cn:80 123.169.124.111:49829 ESTABLISHED

14 14 coolshell.cn:80 110.194.134.189:4796 ESTABLISHED

17 17 coolshell.cn:80 123.169.124.111:49840 ESTABLISHED

指定分隔符

$ awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd

root 0 /root

bin 1 /bin

daemon 2 /sbin

adm 3 /var/adm

lp 4 /var/spool/lpd

sync 5 /sbin

shutdown 6 /sbin

halt 7 /sbin

上面的命令也等价于：（-F的意思就是指定分隔符）

$ awk -F: '{print $1,$3,$6}' /etc/passwd

注：如果你要指定多个分隔符，你可以这样来：

awk -F '[;:]'

再来看一个以\t作为分隔符输出的例子（下面使用了/etc/passwd文件，这个文件是以:分隔的）：

$ awk -F: '{print $1,$3,$6}' OFS=``"\t" /etc/passwd

root 0 /root

bin 1 /bin

daemon 2 /sbin

adm 3 /var/adm

lp 4 /var/spool/lpd

sync 5 /sbin

脱掉衬衫

字符串匹配

我们再来看几个字符串匹配的示例：

$ awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS=``"\t" netstat``.txt

1 Local-Address Foreign-Address State

6 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

9 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

13 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

18 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

$ $ awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS=``"\t" netstat``.txt

1 Local-Address Foreign-Address State

5 coolshell.cn:80 124.205.5.146:18245 TIME_WAIT

6 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

9 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

11 coolshell.cn:80 183.60.215.36:36970 TIME_WAIT

13 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

15 coolshell.cn:80 183.60.212.163:51082 TIME_WAIT

18 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

上面的第一个示例匹配FIN状态， 第二个示例匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。

其实awk可以像grep一样的去匹配第一行，就像这样：

$ awk '/LISTEN/' netstat``.txt

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 :::22 :::* LISTEN

我们可以使用 “/FIN|TIME/” 来匹配 FIN 或者 TIME :

$ awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS=``"\t" netstat``.txt

1 Local-Address Foreign-Address State

5 coolshell.cn:80 124.205.5.146:18245 TIME_WAIT

6 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

9 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

11 coolshell.cn:80 183.60.215.36:36970 TIME_WAIT

13 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

15 coolshell.cn:80 183.60.212.163:51082 TIME_WAIT

18 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

再来看看模式取反的例子：

$ awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS=``"\t" netstat``.txt

1 Local-Address Foreign-Address State

2 0.0.0.0:3306 0.0.0.0:* LISTEN

3 0.0.0.0:80 0.0.0.0:* LISTEN

4 127.0.0.1:9000 0.0.0.0:* LISTEN

7 coolshell.cn:80 110.194.134.189:1032 ESTABLISHED

8 coolshell.cn:80 123.169.124.111:49809 ESTABLISHED

10 coolshell.cn:80 123.169.124.111:49829 ESTABLISHED

12 coolshell.cn:80 61.148.242.38:30901 ESTABLISHED

14 coolshell.cn:80 110.194.134.189:4796 ESTABLISHED

16 coolshell.cn:80 208.115.113.92:50601 LAST_ACK

17 coolshell.cn:80 123.169.124.111:49840 ESTABLISHED

19 :::22 :::* LISTEN

或是：

awk '!/WAIT/' netstat``.txt

折分文件

awk拆分文件很简单，使用重定向就好了。下面这个例子，是按第6例分隔文件，相当的简单（其中的NR!=1表示不处理表头）。

$ awk 'NR!=1{print > $6}' netstat``.txt

$ ls

ESTABLISHED FIN_WAIT1 FIN_WAIT2 LAST_ACK LISTEN netstat``.txt TIME_WAIT

$ cat ESTABLISHED

tcp 0 0 coolshell.cn:80 110.194.134.189:1032 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49809 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49829 ESTABLISHED

tcp 0 4166 coolshell.cn:80 61.148.242.38:30901 ESTABLISHED

tcp 0 0 coolshell.cn:80 110.194.134.189:4796 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49840 ESTABLISHED

$ cat FIN_WAIT1

tcp 0 1 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

$ cat FIN_WAIT2

tcp 0 0 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

tcp 0 0 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

tcp 0 0 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

$ cat LAST_ACK

tcp 0 1 coolshell.cn:80 208.115.113.92:50601 LAST_ACK

$ cat LISTEN

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 :::22 :::* LISTEN

$ cat TIME_WAIT

tcp 0 0 coolshell.cn:80 124.205.5.146:18245 TIME_WAIT

tcp 0 0 coolshell.cn:80 183.60.215.36:36970 TIME_WAIT

tcp 0 0 coolshell.cn:80 183.60.212.163:51082 TIME_WAIT

你也可以把指定的列输出到文件：

awk 'NR!=1{print $4,$5 > $6}' netstat``.txt

再复杂一点：（注意其中的if-else-if语句，可见awk其实是个脚本解释器）

$ awk 'NR!=1{``if``($6 ~ /TIME``|ESTABLISHED/) print > "1.txt"``;

else if``($6 ~ /LISTEN/``) print > "2.txt"``;

else print > "3.txt" }' netstat``.txt

$ ls ?.txt

1.txt 2.txt 3.txt

$ cat 1.txt

tcp 0 0 coolshell.cn:80 124.205.5.146:18245 TIME_WAIT

tcp 0 0 coolshell.cn:80 110.194.134.189:1032 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49809 ESTABLISHED

tcp 0 0 coolshell.cn:80 123.169.124.111:49829 ESTABLISHED

tcp 0 0 coolshell.cn:80 183.60.215.36:36970 TIME_WAIT

tcp 0 4166 coolshell.cn:80 61.148.242.38:30901 ESTABLISHED

tcp 0 0 coolshell.cn:80 110.194.134.189:4796 ESTABLISHED

tcp 0 0 coolshell.cn:80 183.60.212.163:51082 TIME_WAIT

tcp 0 0 coolshell.cn:80 123.169.124.111:49840 ESTABLISHED

$ cat 2.txt

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN

tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN

tcp 0 0 :::22 :::* LISTEN

$ cat 3.txt

tcp 0 0 coolshell.cn:80 61.140.101.185:37538 FIN_WAIT2

tcp 0 0 coolshell.cn:80 116.234.127.77:11502 FIN_WAIT2

tcp 0 1 coolshell.cn:80 124.152.181.209:26825 FIN_WAIT1

tcp 0 1 coolshell.cn:80 208.115.113.92:50601 LAST_ACK

tcp 0 0 coolshell.cn:80 117.136.20.85:50025 FIN_WAIT2

|

统计

下面的命令计算所有的C文件，CPP文件和H文件的文件大小总和。

$ ls -l *.cpp *.c *.h | awk '{sum+=$5} END {print sum}'

2511401

我们再来看一个统计各个connection状态的用法：（我们可以看到一些编程的影子了，大家都是程序员我就不解释了。注意其中的数组的用法）

$ awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat``.txt

TIME_WAIT, 3

FIN_WAIT1, 1

ESTABLISHED, 6

FIN_WAIT2, 3

LAST_ACK, 1

LISTEN, 4

再来看看统计每个用户的进程的占了多少内存（注：sum的RSS那一列）

$ ps aux | awk 'NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}'

dbus, 540KB

mysql, 99928KB

www, 3264924KB

root, 63644KB

hchen, 6020KB

脱掉内衣

awk脚本

在上面我们可以看到一个END关键字。END的意思是“处理完所有的行的标识”，即然说到了END就有必要介绍一下BEGIN，这两个关键字意味着执行前和执行后的意思，语法如下：

  • BEGIN{ 这里面放的是执行前的语句 }
  • END {这里面放的是处理完所有的行后要执行的语句 }
  • {这里面放的是处理每一行时要执行的语句}

为了说清楚这个事，我们来看看下面的示例：

假设有这么一个文件（学生成绩表）：

$ cat score.txt

Marry 2143 78 84 77

Jack 2321 66 78 45

Tom 2122 48 77 71

Mike 2537 87 97 95

Bob 2415 40 57 62

我们的awk脚本如下（我没有写有命令行上是因为命令行上不易读，另外也在介绍另一种用法）：

$ cat cal``.``awk

#!/bin/awk -f

#运行前

BEGIN {

math = 0

english = 0

computer = 0

printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"

printf "---------------------------------------------\n"

}

#运行中

{

math+=$3

english+=$4

computer+=$5

printf "%-6s %-6s %4d %8d %8d %8d\n"``, $1, $2, $3,$4,$5, $3+$4+$5

}

#运行后

END {

printf "---------------------------------------------\n"

printf " TOTAL:%10d %8d %8d \n"``, math, english, computer

printf "AVERAGE:%10.2f %8.2f %8.2f\n"``, math``/NR``, english``/NR``, computer``/NR

}

我们来看一下执行结果：（也可以这样运行 ./cal.awk score.txt）

$ awk -f cal``.``awk score.txt

NAME NO. MATH ENGLISH COMPUTER TOTAL

---------------------------------------------

Marry 2143 78 84 77 239

Jack 2321 66 78 45 189

Tom 2122 48 77 71 196

Mike 2537 87 97 95 279

Bob 2415 40 57 62 159

---------------------------------------------

TOTAL: 319 393 350

AVERAGE: 63.80 78.60 70.00

环境变量

即然说到了脚本，我们来看看怎么和环境变量交互：（使用-v参数和ENVIRON，使用ENVIRON的环境变量需要export）

$ x=5

$ y=10

$ export y

$ echo $x $y

5 10

$ awk -``v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS=``"\t" score.txt

Marry 2143 78 89 87

Jack 2321 66 83 55

Tom 2122 48 82 81

Mike 2537 87 102 105

Bob 2415 40 62 72

几个花活

最后，我们再来看几个小例子：

#从file文件中找出长度大于80的行

awk 'length>80' file

#按连接数查看客户端IP

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr

#打印99乘法表

seq 9 | sed 'H;g' | awk -``v RS=``'' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

|

自己撸吧

关于其中的一些知识点可以参看gawk的手册：

（全文完）

相关文章

  • <转载>AWK 简明教程

    转载：https://coolshell.cn/articles/9070.html?utm_source=cof...

  • Linux 常用命令总结

    linux 命令速查手册linux 常用操作命令 sed 简明教程 awk 简明教程 常用命令 ls ...

  • AWK 简明教程

    备注：I am a beginner ，本文所有权益归以下链接原作者所有!!!! AWK简明教程sed 与awk文...

  • 简明AWK实战教程

    1. 什么是AWK？ AWK是一个强大的格式化文本处理工具，一般在类Unix操作系统中都是必带的工具（Linux、...

  • AWK 简明教程

    https://coolshell.cn/articles/9070.html

  • awk 简明教程

    awk简介 awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多...

  • awk简明教程

    之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian K...

  • awk小结

    awk 参考 AWK简明教程|coolshell 文本 输出第1列与第4列 格式化 过滤记录 内建变量 指定分隔符...

  • AWK 入门简明教程

    AWK 脚本的结构 awk 脚本通常由3部分组成。 BEGIN ， END 和带模式匹配选项的常见语句块。这3个部...

  • [转]Vim常用90%的命令

    本文章转载来自[Vim简明教程]http://blog.csdn.net/niushuai666/article/...

网友评论

      本文标题：<转载>AWK 简明教程

      本文链接：https://www.haomeiwen.com/subject/jrjszxtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|<转载>AWK 简明教程|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！