浅析 awk 文本分析

作用

awk 逐行读取文件，以空格为分隔符将每行切片，切开的部分再进行各种分析处理

格式

awk {option} 'pattern + {action}' {filenames}

option:

• -F 自定义每行切片时的分隔符，默认空格，也可以使用 fs 定义空格符
• -v 变量赋值（例：awk -v path=$PATH）
• -f 从脚本文件中读取awk命令

pattern（不能被{ }包裹）:

• 正则表达式 例：cat 111 | awk ' /^li/ {print $0}' 匹配每行以li开头的记录
• 关系表达式 例：cat 111 | awk 'NR==2 {print $0}' 只输出第二条记录
• 模式匹配表达式 例：cat 111 | awk ':' '$1~/zarafa/ {print $0}' 匹配第一列包含zarafa的记录，与关系表达式相比，只是模糊比较，不是精确比较（~匹配 ~!不匹配）
• BEGIN END 模块，awk 'BEGIN{ commands } pattern{ commands } END{ commands }'，先执行BEGIN后面的 commands 语句，一般用作自定义变量，输入表头等，只执行一次，再逐行扫描文件，从第一行到最后一行重复执行 pattern{ commands } 语句，最后执行END后面的 commands 语句，只执行一次，一般用作分析结果、数据汇总的输出
• awk也是一种编程语言，pattern中完美支持do while、while、for、continue、break以及数组等语法

action:

• print 一般的行为就是打印结果，真正的分析处理数据过程在pattern中
• 存在多个action时结尾必须用;分隔

常用内置变量

• $n 当前读取行的第n个字段
• $0 当前行的所有内容
• FILENAME 当前输入文件名
• NF 当前行的字段数
• NR 当前行的行号
• FS 字段分隔符（和-F参数作用相同，可自定义字段分隔符）
• OFS 自定义输出字段分隔符（加O表示outfile）
• RS 行间分隔符（可自定义行与行输出时的分隔符）
• ORS 自定义输出行间分隔符（加O表示outfile）

基础实例（基础案例引用自 linux awk命令详解 - ggjucheng）

• last -n 5 | awk '{print $1}' 显示最近登录的5个账户
• cat /etc/passwd | awk -F ':' '{print $1}' 显示 /etc/passwd 的账户
• cat /etc/passwd | awk -F ':' '{print $1"\t"$7}' 显示 /etc/passwd 的账户和shell，以Tab键分割
• cat /etc/passwd | awk -F ':' 'BEGIN{print "start"} {print $1","$7} END {print "over"}' 显示 /etc/passwd 的账户和shell，以逗号分割，并且在数据的首尾增加start、over标识
• cat /etc/passwd | awk '/root/ {print $0}' 输出 /etc/passwd 有 root 关键字的行
• cat /etc/passwd | awk -F ":" ' {count++;} END {print count;}'
cat /etc/passwd | awk -F ':' 'END {print NR}'
  统计 /etc/passwd 账户人数
• ls -l | awk '{sum=sum+$5} END {print sum}' 统计某个文件夹下文件占用字节数
• ls -l | awk '$5>5120 {print $0}' 输出某个文件夹下文件字节数大于5K的文件
• cat /etc/passwd | awk -F ":" '{print $1,$3}' OFS="---" 将输出的分隔符改为---

运维案例（运维案例引用自 Awk使用案例总结（运维必会））

处理文件

Nginx日志 /usr/local/nginx1.2.2/logs/access.log

文件格式

127.0.0.1  [31/Aug/2017:00:01:01 +0800] "POST /index.php HTTP/1.1" 200 1540 "-" "-" "xxxxxx" xxxxxx"

具体案例

• 统计日志中访问最多的10个IP
  awk '{a[$1]++;} END {for(i in a) print a[i] "\t" i | "sort -k1 -nr | head -n10 "}' access.log
  利用a[$1]++;，实现IP去重，并且统计IP出现的次数，之后再利用sort命令，按照第一列的数值倒叙排序，输出前10行

• 统计日志中访问大于100次的IP
  awk '{a[$1]++;} END {for(i in a) if(a[i]>100) print a[i]"\t"i | "sort -k1 -nr | head -n 10" }' access.log

• 倒叙列打印文件

倒叙列转化
cat 222.txt | awk '{for(i=NF; i>=1; i--) {printf "%s ",$i}print s}'（print s 打印一个换行符）

• 从第2列打印到最后

从第2列打印到最后
cat 222 | awk '{for(i=2;i<=NF;i++) {printf"%s ",$i}print s}'