awk简介
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。
awk命令格式和选项
调用awk语法格式
1.命令行方式
awk [-F field-separator] '条件 commands' input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件，条件成立才会执行commands。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk
3.将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。
1.条件（Pattern）：
一般使用关系表达式作为条件。这些关系表达式非常多，具体参考下表。
awk 支持的主要条件类型
| 条件类型 | 条 件 | 说 明 |
|---|---|---|
| awk 保留字 | BEGIN | 在 awk 程序一开始，尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次 |
| awk 保留字 | END | 在 awk 程序处理完所有数据，即将结束时执行？END 后的动作只在程序结束时执行一次 |
| 关系运算符 | > | 大于 |
| 关系运算符 | < | 小于 |
| 关系运算符 | >= | 大于等于 |
| 关系运算符 | <= | 小于等于 |
| 关系运算符 | == | 等于。用于判断两个值是否相等。如果是给变童赋值，则使用"=” |
| 关系运算符 | != | 不等于 |
| 关系运算符 | A~B | 判断字符串 A 中是否包含能匹配 B 表达式的子字符串 |
| 关系运算符 | A!~B | 判断字符串 A 中是否不包含能匹配 B 表达式的子字符串 |
| 正则表达式 | /正则/ | 如果在“//”中可以写入字符，则也可以支持正则表达式 |
例如：
x>10：判断变量 x 是否大于 10；
x == y：判断变量 x 是否等于变量 y；
A~B：判断字符串 A 中是否包含能匹配 B 表达式的子字符串；
A!~B：判断字符串 A 中是否不包含能匹配 B 表达式的子字符串；
2.awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
| 变量名 | 释义 |
|---|---|
| ARGC | 命令行参数个数 |
| ARGV | 命令行参数排列 |
| ENVIRON | 支持队列中系统环境变量的使用 |
| FILENAME | awk浏览的文件名 |
| FNR | 浏览文件的记录数 |
| FS | 设置输入域分隔符，等价于命令行 -F选项 |
| NF | 浏览记录的域的个数（按分割符分割的区域数） |
| NR | 已读的记录数（当前行数） |
| OFS | 输出域分隔符 |
| ORS | 输出记录分隔符 |
| RS | 控制记录分隔符 |
此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。
awk的条件用法
#student.txt
ID Name PHP Linux MySQL Average
1 Liming 82 95 86 87.66
2 Sc 74 96 87 85.66
3 Gao 99 83 93 91.66
4 xy 100.00 50 60 70
1) BEGIN
BEGIN 是 awk 的保留字，是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始，尚未读取任何数据之前"。
一旦 BEGIN 后的动作执行一次，当 awk 开始从文件中读入数据时，BEGIN 的条件就不再成立，所以 BEGIN 定义的动作只能被执行一次。
[root@liang shell]# awk 'BEGIN{printf "This is a transcript\n"} {printf $2 "\t" $6 "\n"}' student.txt
This is a transcript
Name Average
Liming 87.66
Sc 85.66
Gao 91.66
xy 70
这里定义了两个动作
- 第一个动作使用BEGIN条件，所以会在读入文件数据前打印"这是一张成绩单"（只会执行一次）
- 第二个动作会打印文件的第二个字段和第六个字段
2) END
END 也是 awk 的保留字，不过刚好和 BEGIN 相反。END 是在 awk 程序处理完所有数据，即将结束时执行的。END 后的动作只在程序结束时执行一次。例如：
[root@liang shell]# awk 'END{printf "The End \n"} {printf $2 "\t" $6 "\n"}' student.txt
Name Average
Liming 87.66
Sc 85.66
Gao 91.66
xy 70
The End
3)关系运算符
【例 1】成绩大于等于87分的学生的名字
[root@liang shell]# cat student.txt | grep -v Name | awk '$6 >= 87 {printf $2 "\n"}'
Liming
Gao
使用cat输出文件内容，用grep取反包含"Name"的行
判断第六个字段（平均成绩）大于等于87分的行，如果判断式成立，则打印第六列（学员名）
【例 2】Sc 用户的平均成绩
[root@liang shell]# awk '$2 -/Sc/ {printf $6 "\n"}' student.txt
85.66
如果第二个字段中包含"Sc"字符，则打印第六个字段
这里要注意，在 awk 中，只有使用"//"包含的字符串，awk 命令才会査找。也就是说，字符串必须用"//"包含，awk 命令才能正确识别。
【例3】linux成绩大于90分，打印name is a good student
[root@liang shell]# cat student.txt | awk 'NR>=2 && $4>90 {print $2" is a good student"}'
Liming is a good student
Sc is a good student
先判断行号，如果大于 2
再判断成绩，如果 linux 的值大于 90 分，就打印好学生
【例4】统计每一科的总分和平均分
脚本比较长，可以写在一个文件中（student_count.awk） -f指定文件执行
#!/usr/bin/awk -f
BEGIN{
printf "%-10s%-10s%-10s\n", "course", "total","average"
}
{
if (NR==1){
name1 = $3
name2 = $4
name3 = $5
} else{
total[name1] +=$3
total[name2] +=$4
total[name3] +=$5
}
line = NR-1
}
END{
for (u in total)
{
printf "%-10s%-10s%-10s\n", u, total[u],total[u]/line
}
}
BEGIN打印表头，然后对每一行数据进行处理，如果当前是第一行，先把所有读取到的科目名称赋值给变量，非第一行，创建一个数组，把对应科目的分数累加，end格式化输出
执行命令输出：
[root@liang dev04_shell_04]# awk -f student_count.awk student.txt
course total average
MySQL 326 81.5
PHP 355 88.75
Linux 324 81
4) 正则表达式
当使用 df 命令査看分区的使用情况时，如果我只想査看已tmp开头的分区的使用情况，则可以这样做：
[root@liang shell]# df -h | awk '/^tmp/ {printf $1 "\t" $5 "\n"}'
tmpfs 0%
tmpfs 1%
tmpfs 0%
tmpfs 0%
正则表达式具体用法此处不展开讲述
命令写法规范：
- 多个条件{动作}可以用空格分隔，也可以用回车分隔。
- 在一个动作中，如果需要执行多条命令，则需要用分隔，或用回车分隔。
- 在 awk 中，变量的赋值与调用都不需要加入"$"符号。
- 在条件中判断两个值是否相同，请使用"=="，以便和变量赋值进行区分
awk执行过程分析
-
第一步： 执行BEGIN { commands } pattern 语句块中的语句
BEGIN语句块：在awk开始从输入输出流中读取行之前执行，在BEGIN语句块中执行如变量初始化，打印输出表头等操作。
-
第二步：从文件或标准输入中读取一行，然后执行pattern{ commands }语句块。它逐行扫描文件，从第一行到最后一行重复这个过程，直到全部文件都被读取完毕。
pattern语句块：pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行。{ }类似一个循环体，会对文件中的每一行进行迭代，通常将变量初始化语句放在BEGIN语句块中，将打印结果等语句放在END语句块中。
-
第三步：当读至输入流末尾时，执行END { command }语句块
END语句块:在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。
网友评论