awk 基本语法：
awk 'BEGIN{} {command} END{}' filename
- awk 是逐行处理文本内容的；
- BEGIN{} 是初识化代码块，在处理文件第一行内容之前，定义一些变量；
- {command} 为一些命令，依次对文件内容的每一行进行相应地处理；
- END{} 为结束代码块，在{command} 运行结束后执行。
BEGIN{} 和 END{} 都不是必须的，所以，往往可以这样写：
awk '{command}' filename
awk 的输入被解析成多个记录（Record），默认的记录分隔符是 \n，因此可以认为一行就是一个记录，记录的分隔符（当前行和下一行之间的分隔符）可以通过内置变量 RS （record separator）更改。
而对于当前行，默认分隔符为空格（包括 tab）；通过分隔符，将一行数据分割成许多列，如打印文件的第一列或第二列：
- $0 则表示所有的列
- $1 就是只第一列
- $2 表示第二列等
# 创建文件
df -h | tee -a df.txt
Filesystem Size Used Avail Use% Mounted on
rootfs 119G 57G 62G 48% /
tmpfs 119G 57G 62G 48% /run
none 119G 57G 62G 48% /run/lock
none 119G 57G 62G 48% /run/shm
none 119G 57G 62G 48% /run/user
打印所有行
awk '{print $0}' df.txt
Filesystem Size Used Avail Use% Mounted on
rootfs 119G 57G 62G 48% /
tmpfs 119G 57G 62G 48% /run
none 119G 57G 62G 48% /run/lock
none 119G 57G 62G 48% /run/shm
none 119G 57G 62G 48% /run/user
打印行号
leadingsci@DELL5577:~/Test$ awk '{print NR,$0}' df.txt
1 Filesystem Size Used Avail Use% Mounted on
2 rootfs 119G 57G 62G 48% /
3 tmpfs 119G 57G 62G 48% /run
4 none 119G 57G 62G 48% /run/lock
5 none 119G 57G 62G 48% /run/shm
6 none 119G 57G 62G 48% /run/user
打印第一行
leadingsci@DELL5577:~/Test$ awk 'NR==1{print $0}' df.txt
Filesystem Size Used Avail Use% Mounted on
打印非第一行
leadingsci@DELL5577:~/Test$ awk 'NR!=1{print $0}' df.txt
rootfs 119G 57G 62G 48% /
tmpfs 119G 57G 62G 48% /run
none 119G 57G 62G 48% /run/lock
none 119G 57G 62G 48% /run/shm
none 119G 57G 62G 48% /run/user
awk的加减乘除
leadingsci@DELL5577:~/Test$ awk 'NR==1{print $1,$2,$3,$4,$5}NR!=1{print $1,$3/$2,$4/$2,$3+$4,$2-$3}' df.txt
Filesystem Size Used Avail Use%
rootfs 0.478992 0.521008 119 62
tmpfs 0.478992 0.521008 119 62
none 0.478992 0.521008 119 62
none 0.478992 0.521008 119 62
none 0.478992 0.521008 119 62
log为底
leadingsci@DELL5577:~/Test$ awk 'NR==1{print $1,$2,$3,$4,$5}NR!=1{print $1,log($3/$2),log($4/$2),$3+$4,$2-$3}' df.txt
Filesystem Size Used Avail Use%
rootfs -0.736072 -0.651989 119 62
tmpfs -0.736072 -0.651989 119 62
none -0.736072 -0.651989 119 62
none -0.736072 -0.651989 119 62
none -0.736072 -0.651989 119 62
awk 中支持以下数学函数
atan2(y,x)：余切；
cos(x)：余弦；
sin(x)：正弦；
exp(x)：以自然对数 e 为底指数幂；
log(x)：计算以 e 为底的对数值；
sqrt(x)：开方；
int(x)：将数值转换成整数；
rand()：返回 0 到 1 的一个随机数值，不包含 1；
srand([expr])：设置随机种子，一般与 rand 配合使用，如果参数为空，默认使用当前时间为种子。
某一列求和
leadingsci@DELL5577:~/Test$ awk 'NR!=1{sum+=$2}END{print sum}' df.txt
595
计算列数
NF （number of fields，域的数量，域就是列），是 awk 的内置标量；其默认按空格分割，记录每一行有多少列。
leadingsci@DELL5577:~/Test$ awk '{print NF}' df.txt
7
6
6
6
6
6
打印最后一列
leadingsci@DELL5577:~/Test$ awk '{print $NF}' df.txt
on
/
/run
/run/lock
/run/shm
/run/user
改变文件内容的分隔符
OFS （output field separator），可以指定输出内容的分隔符
leadingsci@DELL5577:~/Test$ awk 'BEGIN{OFS="-"}{print $1,$2,$3,$4}' df.txt
Filesystem-Size-Used-Avail
rootfs-119G-57G-62G
tmpfs-119G-57G-62G
none-119G-57G-62G
none-119G-57G-62G
none-119G-57G-62G
但不改变所有行
leadingsci@DELL5577:~/Test$ awk 'BEGIN{OFS="-"}{print $0}' df.txt
Filesystem Size Used Avail Use% Mounted on
rootfs 119G 57G 62G 48% /
tmpfs 119G 57G 62G 48% /run
none 119G 57G 62G 48% /run/lock
none 119G 57G 62G 48% /run/shm
none 119G 57G 62G 48% /run/user
改变所有行分隔符
原理是当对 $1、$2 等以及列数 NF 的赋值时，$0 会用 OFS 进行重构（即 OFS 生效）。
leadingsci@DELL5577:~/Test$ awk 'BEGIN{OFS="-"}{NF=NF;print $0}' df.txt
Filesystem-Size-Used-Avail-Use%-Mounted-on
rootfs-119G-57G-62G-48%-/
tmpfs-119G-57G-62G-48%-/run
none-119G-57G-62G-48%-/run/lock
none-119G-57G-62G-48%-/run/shm
none-119G-57G-62G-48%-/run/user
# 或者
leadingsci@DELL5577:~/Test$ awk 'BEGIN{OFS="-"}{$1=$1;print $0}' df.txt
Filesystem-Size-Used-Avail-Use%-Mounted-on
rootfs-119G-57G-62G-48%-/
tmpfs-119G-57G-62G-48%-/run
none-119G-57G-62G-48%-/run/lock
none-119G-57G-62G-48%-/run/shm
none-119G-57G-62G-48%-/run/user
指定输入的分隔符
FS （field separator）的作用是指定输入内容的分隔符，与 OFS 相反。
leadingsci@DELL5577:~/Test$ awk -F ':' '{print $0}' passwd |head -n 4
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
# 或者
leadingsci@DELL5577:~/Test$ awk 'BEGIN{FS=":"}{print $0}' passwd |head -n 4
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
BEGIN 的作用是初始化，即在读入文件内容的第一行之前，就定义好了 FS 的值；如果不用 BEGIN，显然会出点小 bug
小结-部分内置变量
- $n 当前记录的第 n 个字段，字段间由 FS 分隔，如 $1、$2 等
- $0 完整的输入记录，即当前的那一行
- NR 当前记录数，即行数
- FS 当前记录分隔符 （默认是空格）
- NF 当前记录中的列数
- OFS 输出列的分隔符（默认值是一个空格）
筛选
打印第三列
leadingsci@DELL5577:~/Test$ awk -F ':' '{print $0}' passwd|awk -F ':' '$3>100'
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
syslog:x:101:104::/home/syslog:/bin/false
messagebus:x:102:106::/var/run/dbus:/bin/false
landscape:x:103:109::/var/lib/landscape:/bin/false
sshd:x:104:65534::/var/run/sshd:/usr/sbin/nologin
pollinate:x:105:1::/var/cache/pollinate:/bin/false
gene:x:1000:1000:"",,,:/home/gene:/bin/bash
只打印第一列为”root“的一行
leadingsci@DELL5577:~/Test$ awk -F ':' '{print $0}' passwd|awk -F ':' '$1=="root"'
root:x:0:0:root:/root:/bin/bash
打印第二行
leadingsci@DELL5577:~/Test$ awk -F ':' '{print $0}' passwd|awk -F ':' 'NR==2'
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
打印奇数行
leadingsci@DELL5577:~/Test$ awk -F ':' '{print $0}' passwd|awk -F ':' 'NR%2==1'
root:x:0:0:root:/root:/bin/bash
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
网友评论