shell-awk

awk简介

awk是一种编程语言，用于在linux下对文本和数据处理
数据可以来自标准输入、一个或多个文件、或其他命令的输出
支持用户自定义函数和正则表达式 是一种强大的编辑器

awk的两种形式语法格式

awk [options] 'commands' filenames

awk [options] -f awk-script-file filenames

options：

-F 对于每次处理的内容，可以指定一个自定义的分隔符，默认分隔符是空白字符（空格或者tab键）

command

BEGIN{}                          {}                         END{}
处理所有的内容                  处理内容中的动作           处理所有内容之后的动作

示例

awk 'BEGIN{print "----开始处理了---"} {print "ok"} END{print "----都处理完毕---"}' /etc/hosts
----开始处理了---
ok
ok
ok
----都处理完毕---

BEGIN{}通常用于定义一些变量，例如BEGIN{FS=":";OFS="-----"}

awk工作原理

awk -F: '{print $1,$3}' /etc/passwd
1） awk,会处理文件的每一个行，每次处理时，使用一行作为输入，并将这一行赋给内部变量$0,每一行也可称为一个记录，以换行符结束

2） 然后，行被：（默认为空格或制表符）分解成字段（或称为域），每个字段存储在已编号的变量中，从$1开始，最多达100段

3 ）awk如何知道用空白字符来分隔字段呢？因为有一个内部变量FS来确定字段分割符。初始时，FS赋值为空白字符

4）awk打印字段时，将以内置的方法使用print函数打印，awk在打印出的字段上加上空格。这个空格是内部的一个变量OFS输出字段的分隔符、逗号，会和OFS进行映射，通过OFS可以控制这个分隔符的值

5）awk输出之后，将从文件中获取另一行，并将其存储在$0x中，覆盖原来的内容，然后将新的字符串分割成字段并进行处理

记录与字段相关内部变量

$0 :awk变量保存当前正在处理的行内容
NR：当前正在处理的行是awk总共处理的行号
FNR：当前正在处理的行在其文件中的行号
NF：每行被处理时的总字段数
FS：输入行时的字段分隔符，默认空格
OFS:输出字段分隔符，默认是一个空格
ORS：输出记录分隔符，默认是换行符

awk 'BEGIN{FS=":"} {print $1,$3}' /etc/passwd $是以冒号分隔 然后取出第一和第三列

awk 'BEGIN{FS=":"; OFS="+++"} /^root/{print $1,$2,$3,$4}' /etc/passwd  $这个是以冒号分隔找出以root开头的行并将冒号换成加号

示例

将文件每一行合并成一行

ORS默认输出一条记录应该回车，但是加了一个空格

awk 'BEGIN{ORS="  "} {print $0}' /etc/passwd  $把所有行合并成一行并以空格分隔开

格式化输出

print函数

awk -F：'{printf "|%-15s| %-10s| %-15s|\n", $1,$2,$3}' /etc/passwd $把etc/passwd中的1、2、3行取出来并在每行中按一定格式输出

%s 字符类型
%d 数值类型
%f 浮点类型
%-15s占15个字符 -表示左对齐，默认是右对齐
printf 默认不会在行尾自动换行，加\n

awk模式和动作

任何awk语句都有模式和动作组成

正则表达式

awk '/^root/' /etc/passwd   #匹配出以root开头得行
awk '$0 ~ /^root/' /etc/passwd
awk '!/root/' passwd   #匹配出没有root的行
awk '$0 !~ /^root/' /etc/passwd

匹配字段，可以使用的匹配操作符（_和！）

awk -F: '$1 ~ /^alice/' /etc/passwd
awk -F: '$NF !~ /bash$/' /etc/passwd

比较表达式

比较表达式采用对文本进行比较，只有当条件为真，才执行指定的动作。
比较表达式使用关系运算符，用于比较数字与字符串
关系运算符有
<小于 例如 x<y
>大于 x>y
<= 小于或等于 x<=y
== 等于x==y
!= 不等于 x!=y
>= 大于等于 x>=y

示例

awk -F: '$3 == 0' /etc/passwd
awk -F: '$3 < 10' /etc/passwd
awk -F: '$NF == "/bin/bash"' /etc/passwd
awk -F: '$1 == "root"' /etc/passwd

df -P | grep '/' |awk '$4 > 25000'

条件表达式

awk -F: '$3>300 {print $0}' /etc/passwd
awk -F: '{ if($3>300) print $0 }' /etc/passwd
awk -F: '{ if($3>300) {print $0} }' /etc/passwd
awk -F: '{ if($3>300) {print $3} else{print $1} }' /etc/passwd

算术运算：+ - * / %(模：取余） ^(幂：2^3)

awk -F: '$3 * 10 > 500' /etc/passwd
awk -F: '{ if($3*10>500){print $0} }' /etc/passwd

逻辑操作符和复合模式
<&& 逻辑与，相当于，并且
||逻辑或，相当于 或者
！逻辑非，取反

awk -F: '$1~/root/ && $3<=15' /etc/passwd
awk -F: '$1~/root/ || $3<=15' /etc/passwd
awk -F: '!($1~/root/ || $3<=15)' /etc/passwd

使用语法起始表达式，终止表达式

➜  ~ awk -F: '/^bin/,/adm/ {print $0 }' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

awk 正则示例

➜  ~ awk -F: '/^(bin|root)/' /etc/passwd
root:x:0:0:root:/root:/bin/zsh
bin:x:1:1:bin:/bin:/sbin/nologin