背景
awk 是一个文本处理工具，通常用于处理数据并生成结果报告。awk 的命名是它的创始人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母组成的。awk 实质上是一门编程语言，其具备自己的语法，如：条件判断、循环等等。在很多方面类似 shell 编程语言。
awk 语法格式
awk [option] 'pattern{action}' filename
| 语法格式 | 解释 |
|---|---|
| option | 参数选项 |
| pattern | 模式（找谁？） |
| action | 处理动作，awk 常用的动作是 print 和 printf（做啥？） |
action
接下来我们来学习最简单的 action-print
# cat hello.txt
hello lemon
Tester Developer
Java Python
逐行打印每行内容，$0 是 awk 的内置变量，效果是打印整行内容
# awk '{print $0}' hello.txt
hello lemon
Tester Developer
Java Python
每行以空格为分隔，逐行打印出第一列内容
# awk '{print $1}' hello.txt
hello
Tester
Java
每行以空格为分隔，逐行打印出第一列 第二列 内容
# awk '{print $1,$2}' hello.txt
hello lemon
Tester Developer
Java Python
action 是被{}包裹的内容
awk 的工作模式是逐行以指定的分隔符将行分成多个字段，上述的例子没有指定分隔符，那么讲会以默认的分隔符空格进行分割，每一个分割的字段分别对应着 awk 的内置变量 2...，其中 $0 是代表整行内容。
awk 内置变量
除了 $0, $1, $2 ...之外，awk 还有很多内置变量，下表中是常用的 awk 内置变量：
| 内置变量 | 含义 |
|---|---|
| $0 | 整行内容 |
| $1-$n | 当前行的第 1-n 个字段 |
| NF | 当前行的字段个数，也就是有多少列 |
| NR | 当前行的行号，从 1 开始计数 |
| FNR | 多文件处理时，每个文件行号单独计数，都是从 0 开始 |
| FS | 输入字段分隔符，不指定默认以空格或 tab 键分割 |
| RS | 输入行分隔符，默认回车换行 |
| OFS | 输出字段分隔符，默认为空格 |
| ORS | 输出行分隔符，默认为回车换行 |
NR,NF 输出
# awk '{print NR,NF}' hello.txt
1 2
2 2
3 2
如果不想以默认的空格作为字段分隔符，那么我们可以通过 FS 内置变量指定新的分隔符
文件内容更改如下：
# cat hello.txt
hello|lemon
Tester|Developer
Java|Python
指定"|"为新的分隔符，其中-v 参数表示指定输入分隔符（即在处理文件之前）：
# awk -v FS='|' '{print $1,$2}' hello.txt
hello lemon
Tester Developer
Java Python
默认输出分隔符也是空格，可以指定-v OFS 改变输出分隔符
# awk -v FS='|' -v OFS='::' '{print $1,$2}' hello.txt
hello::lemon
Tester::Developer
Java::Python
pattern 模式
上面我们学习到了 option 参数中的-v 参数以及 action 中的 print 动作，pattern 有何用处呢？
当 awk 进行逐行处理的时候，pattern 作为条件去判断将要被处理的行是否满足条件，如果满足则处理，否则不处理。
需要注意的是 action 是一定会被{}包裹的，而 pattern 则没有被{}包裹着的
空模式
默认 pattern 为空模式，比如上述的：
awk '{print $1}' testfile
文本中的每一行，都满足条件，都会执行相应的操作
BEGIN/END 模式
在开始逐行处理文本之前，先执行 BEGIN 模式所指定的动作，一般我们将其用于表头
awk 'BEGIN{print “hello”,”lemonban”}'
在所有文本处理完毕之后，执行 END 模式所指定的动作，一般用于末尾说明
awk 'BEGIN{print “hello”,”lemonban”}{print $1,$2}END{print “end of file”}'
示例：
# awk 'BEGIN{print "name","age"}{print $1,$2}END{print "no more data"}' hello.txt
name age
zhangsan 25
lisi 30
wangwu 28
no more data
正则模式
使用语法：
awk '/正则表达式/{action}' filename
其中，正则表达式需要通过//包裹起来
示例：
查找 passwd 中以 MySQL 开头的信息
# awk '/^mysql/{print $0}' /etc/passwd
mysql:x:105:114:MySQL Server,,,:/nonexistent:/bin/false
结合-v 参数指定输入分隔符为":"
# awk -v FS=':' '/^mysql/{print $1,$2}' /etc/passwd
mysql x
需要注意的是如果正则表达式中有斜杠"/"，那么需要进行转移：
# awk '/\/bin\/bash$/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
上述表达式是查找以/bin/bash 结束对应行的信息
比较表达式模式
所谓比较表达式是指有关系运算符参与运算，比如 >,<,>=,<= 等等
示例：
查找 2 行以后所有行的内容
# awk 'NR>2{print $0}' hello.txtwangwu 28
查找字段最后一个是 30 所在行内容
# awk '$NF==30{print $0}' hello.txtlisi 30
这里的 NF 表示所在行字段个数，$NF 即表示所在行最后一个字段
总结
本篇文章给大家介绍了 awk 的基本语法及 action、pattern、option 的使用，awk 作为强大的编程工具，由于文章篇幅有限 awk 还有更多的特性没有介绍，大家如果感兴趣可以自行查阅相关资料学习。
网友评论