简介

awk是一种编程语言，用于在linux\unix下对文本和数据的处理。
linux的三剑客：grep、sed、awk

• grep：更适合单纯的查找或者匹配文本
• sed：更适合编辑指定的文本
• awk：更适合格式化文本，对文本进行复杂处理

awk基础

awk处理模式

awk逐行处理文本，按照指定的分隔符（默认空格），将行分割为多个字段，每个字段按照顺序，分别对应到awk的内置变量中。分割完后，第一个字段为$1，最后一个为$NF，$0表示当前行。

• 注意： NF 和 $NF 不相同，NF表示当前行被分隔后，一共有多少个字段；$NF代表最后一个字段

  
  image.png

基础语法

• awk [options] 'Pattern{Action}' file

awk内置变量

常用的内置变量：

• FS：Field sperator输入分隔符
  使用举例：指定#为分隔符 awk -F# '{print $1,$2}' ; awk -v FS="#" {print $1, $2}
• OFS: output field sperator 输出分隔符
  使用举例：指定++为输出分隔符 awk -v OFS="++" '{print $1, $2}'
• RS：record sperator，输入行分隔符，默认是换行符
  使用举例： awk -v RS=" " {print NR, $0}
• ORS：output record sperator，输出行分隔符，默认是换行符
  使用举例： awk -v -ORS= " " {print $1, $2}
• NF： number of field, 当前行被分割成立几列
• NR：number of record, 当前处理的行号（多个文件时会累加）
• FNR: file number of record，各文件分别的行号
• FILENAME: 当前文件名
• ARGC: numbers of command line arguments，命令行中给定参数的个数
• ARGV: arrays of command line arguments，一个数组，保存的是命令行中所给定的参数
  举例： awk '{print ARGV[0], ARGV[1],ARGV[2],ARGC}' test1 test2
  结果：awk test1 test2 2

awk Action之print

• 打印整行： awk '{print}' / awk '{print $0}'
• 打印多个内置变量或者字符： awk '{print $1, $2, 666, $3, "string"}'

awk Action 之printf 文本格式化

• printf输出的文本不会换行，需要在对应的格式替换法中加\n
• 指定格式和格式化的文本之间需要用,（逗号）隔开
• 格式替换符必须与被格式化的文本一一对应
• 使用举例：awk '{printf %5s %7.3d, $1, $2 }' : 第一个变量以字符填充，宽度5个字符，第二个变量以数字填充，7个字符宽度，精度为3位小数

awk Action之流程控制语句

• if...else :
  cat /etc/passwd | awk -v FS=':' '{if ($3 > 500) {printf "%-15s %-15s\n", $1, "普通用户"} else {printf "%-15s %-15s\n", $1, "系统用户"}}'
• for：awk 'BEGIN{for(i = 0; i < 6 ; i++) {print i}}'
• while: awk 'BEGIN{i = 2; while(i < 6) {print i; i ++}}'
• do..while: awk 'BEGIN{i = 2; do {print i; i++} while (i <6)}'
• continue：用法跟编程语言中一样
• break：用法跟编程语言中一样
• exit：用法跟shell中一样，注意的是，BEGIN模式的exit执行后不会跳过END中的语句

awk之Pattern

当awk逐行处理的时候，会把Pattern作为条件，判断要处理的行是否满足条件，满足则处理。
常用的模式分为几类：

• 空模式：没有写pattern，所有行都进行处理

• 关系运算模式：

  
  image.png
• 正则模式：把正则表达式当作模式，能匹配则算满足条件并执行响应的动作(awk使用扩展正则模式)
  awk [Options] '/正则/{Action}'
  举例： awk '/^[0-9]{2,6}/{print $0}'
• 行范围模式：在指定的行范围内执行动作，可通过两种方式指定行范围：
  正则： awk '/正则1/, /正则2/{Action}' 从匹配到正则1开始，到匹配到正则2结束；
  关系运算模式：awk 'NR>=3 && NR <=6 {Action}'
• 特殊pattern：
  BEGIN: 指定了处理文本之前所需要的操作
  END: 指定了处理文本之后所需要的操作
  举例：awk 'BEGIN{print "name","age"} {print $1, $2} END{print "name","age"}'

awk内置函数

• 随机数： rand()和srand()配合使用，例如：生成（0，100）的随机数 awk 'BEGIN{srand(); print int(100*rand())}'
• 文本替换：sub()\gsub() 将所有小写的l替换成大写L awk '{gsub("l","L",$0); print $0}' ，只将第一个匹配的l替换成L awk '{sub("l","L",$0) ; print $0}'
• 获取字符串的长度：awk '{print length($1)}' ,length()不传参数，默认为整行的长度
• 获取指定字符在字符串中的位置： awk '{print index("$0","AA")}'
• 按指定字符分隔字符串：echo "1wa:2wa:3wa"|awk '{split($0,huluwa,":"); for(i in huluwa){print i,huluwa[i]}}'
• 对数组排序：awk -v

其他用法

• 三目运算符：awk 'aa=$1<100?true:false; print aa'
• 打印奇偶行： 奇数行 awk 'i=!i'； 偶数行 awk '!(i=!i)'
  引用：http://www.zsythink.net/archives/tag/awk/page/2/