一、三剑客命令awk概述

gawk :

pattern scanning and processing language==>可以进行模式扫描 和 是一门语言
语法 : awk [参数] '模式{动作}' 文件

二、 三剑客命令awk作用

1.处理文件信息: 文本文件信息 日志文件信息 配置文件信息
2.处理文件方式: 排除信息 查询信息 统计信息 替换信息
对文件列进行处理

三、 三剑客命令awk操作

创建测试环境
cat reg.txt
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50 :95 :135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175

1.显示xiaoyu的姓氏和ID号码

   awk '{print $1 $3}'  文件信息
    第一个步骤: 找出需要编写模式信息
    获取xiaoyu信息
    awk '/Xiaoyu/'  reg.txt
    awk '$2~/Xiaoyu/' reg.txt
    第二个步骤: 根据条件做处理
    显示满足条件的第三列和第一列信息
    awk '$2~/Xiaoyu/{动作}' reg.txt
    awk '$2~/Xiaoyu/{print $1 $3}' reg.txt
    答案:
    [root@oldboyedu ~]# awk '$2~/Xiaoyu/{print $1,$3}' reg.txt
    Zhang 390320151
    [root@oldboyedu ~]# awk '$2~/Xiaoyu/{print $1" "$3}' reg.txt
    Zhang 390320151

2.姓氏是Zhang的人,显示他的第二次捐款金额及他的名字

    第一个步骤: 找出需要编写模式信息 
    awk '$1~/Zhang/' reg.txt
    第二个步骤: 根据条件做处理 
    awk '$1~/Zhang/{print $1,$2,$4}' reg.txt
    awk -F ":"  '$1~/Zhang/{print $3}' reg.txt
    答案:
    [root@oldboyedu ~]# awk -F "[: ]+"  '$1~/Zhang/{print $1,$2,$5}' reg.txt
    Zhang Dandan 100
    Zhang Xiaoyu 90

3.显示所有以41开头的ID号码的人的全名和ID号码

    第一个步骤: 找出需要编写模式信息 
    awk '$3~/^41/' reg.txt
    第二个步骤: 根据条件做处理
    答案:
    awk '$3~/^41/{print $1,$2,$3}' reg.txt
    [root@oldboyedu ~]# awk '$3~/^41/{print $1,$2,$3}' reg.txt
    Zhang Dandan 41117397
    Liu Bingbing 41117483
    [root@oldboyedu ~]# awk '$3~/^41/{print $1,$2,$3}' reg.txt|column -t
    Zhang  Dandan    41117397
    Liu    Bingbing  41117483

4.显示所有ID号码最后一位数字是1或5的人的全名

    第一个步骤: 找出需要编写模式信息
    awk '$3~/1$|5$/' reg.txt
    awk '$3~/[15]$/' reg.txt
    awk '$3~/(1|5)$/' reg.txt
    第二个步骤: 根据条件做处理
    答案
    [root@oldboyedu ~]# awk '$3~/[15]$/{print $1,$2}' reg.txt|column -t
    Zhang  Xiaoyu
    Wu     Waiwai
    Wang   Xiaoai
    Li     Youjiu
    Lao    Nanhai
    [root@oldboyedu ~]# awk '$3~/[15]$/{print $1,$2,$3}' reg.txt|column -t
    Zhang  Xiaoyu  390320151
    Wu     Waiwai  70271111
    Wang   Xiaoai  3515064655
    Li     Youjiu  918391635
    Lao    Nanhai  918391635

05. 获取文件中有井号或空行的内容, 将空行和井号信息的行排除

    第一个步骤: 找出需要编写模式信息
    awk '/#|^$/'  reg.txt       
    awk '$0~/#|^$/'  reg.txt    
    说明: $0 表示将文件所有列信息进行显示
    awk '$0!~/#|^$/'  reg.txt
    awk '!/#|^$/'  reg.txt
    第二个步骤: 根据条件做处理
    答案:
    [root@oldboyedu ~]# awk '$0!~/#|^$/'  reg.txt
    Zhang  Dandan    41117397    :250:100:175
    Meng   Feixue    80042789    :250:60:50
    Wu     Waiwai    70271111    :250:80:75
    Liu    Bingbing  41117483    :250:100:175
    Zi     Gege      1986787350  :250:168:200
    Li     Youjiu    918391635   :175:75:300
    Lao    Nanhai    918391635   :250:100:175
    Lao    Nanhai    Xiaoyu   :250:100:175
    [root@oldboyedu ~]# awk '$0!~/#|^$/{print $0}'  reg.txt
    Zhang  Dandan    41117397    :250:100:175
    Meng   Feixue    80042789    :250:60:50
    Wu     Waiwai    70271111    :250:80:75
    Liu    Bingbing  41117483    :250:100:175
    Zi     Gege      1986787350  :250:168:200
    Li     Youjiu    918391635   :175:75:300
    Lao    Nanhai    918391635   :250:100:175
    Lao    Nanhai    Xiaoyu   :250:100:175

06. 显示Xiaoyu的捐款,每个捐款数额都是以$开头, 如$110$220$330     
    awk '$2~/Xiaoyu/{print $4}' reg.txt|sed 's#:#$#g'   
    awk '$2~/Xiaoyu/{print $4}' reg.txt|tr ':' '$'
    awk -F "[: ]+" '$2~/Xiaoyu/{print "$"$4,"$"$5,"$"$6}' reg.txt
    
    awk替换
    gsub  = gawk substitute
    gsub(/要替换的信息/,"替换成什么".$将第几列)
    [root@oldboyedu ~]# awk  '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' reg.txt
    $155$90$201
    说明: $NF 表示文件的最后一列信息 

6。awk命令模式分类

###a.普通模式: 比较行信息
[root@oldboyedu ~]# cat reg.txt
Zhang  Dandan    41117397    :250:100:175
Zhang  Xiaoyu    390320151   :155:90:201
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50:95:135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175
[root@oldboyedu ~]# awk  'NR>2' reg.txt
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50:95:135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175
[root@oldboyedu ~]# awk  'NR<2' reg.txt
Zhang  Dandan    41117397    :250:100:175   

说明: NR 表示文件行信息

b.###取出多行信息
[root@oldboyedu ~]# awk 'NR==2,NR==4' reg.txt --- 连续多行
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
[root@oldboyedu ~]# awk 'NR==2;NR==4' reg.txt --- 不连续多行
Zhang Xiaoyu 390320151 :155:90:201
Wu Waiwai 70271111 :250:80:75

c.特殊模式:

BEGIN{动作}:  在处理文件之前,先做什么事情
[root@oldboyedu ~]# awk  'BEGIN{print "姓","名","号码","捐款记录"}{print $0}' reg.txt|column -t
姓     名        号码        捐款记录
Zhang  Dandan    41117397    :250:100:175
Zhang  Xiaoyu    390320151   :155:90:201
Meng   Feixue    80042789    :250:60:50
Wu     Waiwai    70271111    :250:80:75
Liu    Bingbing  41117483    :250:100:175
Wang   Xiaoai    3515064655  :50:95:135
Zi     Gege      1986787350  :250:168:200
Li     Youjiu    918391635   :175:75:300
Lao    Nanhai    918391635   :250:100:175

d.用于计算:

[root@oldboyedu ~]# awk "BEGIN{print 2+2}"
4
[root@oldboyedu ~]# awk "BEGIN{print 2-2}"
0
[root@oldboyedu ~]# awk "BEGIN{print 2*2}"
4
[root@oldboyedu ~]# awk "BEGIN{print 3/2}"
1.5
[root@oldboyedu ~]# awk "BEGIN{print 3^2}"
9
[root@oldboyedu ~]# awk "BEGIN{print 3^3}"
27
[root@oldboyedu ~]# awk "BEGIN{print 3**3}"
27
[root@oldboyedu ~]# awk "BEGIN{print 5%3}"
2

e.修改内置变量:

NF:  取出最后一列
     # awk '{print $(NF-1)}' reg.txt   --- 取出倒数第二列
NR:  表示行信息
FS:  指定列分隔符, 默认识别空格为分割符
     [root@oldboyedu ~]# awk 'BEGIN{FS="[: ]+"}{print $4}' reg.txt
     250
     155
     250
     250
     250
     50
     250
     175
     250
     [root@oldboyedu ~]# awk -vFS="[: ]+"  '{print $1,$4}' reg.txt
     Zhang 250
     Zhang 155
     Meng 250
     Wu 250
     Liu 250
     Wang 50
     Zi 250
     Li 175
     Lao 250

END{动作}:    在处理文件之后,再做什么事情
[root@oldboyedu ~]# awk  'BEGIN{print "姓","名","号码","捐款记录"}{print $0}END{print "学生捐款登记表"}' reg.txt|column -t
姓              名        号码        捐款记录
Zhang           Dandan    41117397    :250:100:175
Zhang           Xiaoyu    390320151   :155:90:201
Meng            Feixue    80042789    :250:60:50
Wu              Waiwai    70271111    :250:80:75
Liu             Bingbing  41117483    :250:100:175
Wang            Xiaoai    3515064655  :50:95:135
Zi              Gege      1986787350  :250:168:200
Li              Youjiu    918391635   :175:75:300
Lao             Nanhai    918391635   :250:100:175
学生捐款登记表

实际作用:
可以将统计后的最终结果进行输出

7. awk对文件进行统计分析

awk统计运算公式
a 文本信息累加运算
i=i+1
统计文件行数
awk '{i=i+1}END{print i}' test.txt
[root@oldboyedu ~]# awk '/oldboy/{i=i+1}END{print i}' test.txt
4
[root@oldboyedu ~]# awk '/oldboy/{i++}END{print i}' test.txt
4
b 数值信息求和运算
sum=sum+n 你要对文件第几列信息做求和运算
# seq 10|awk '{sum=sum+$1}END{print sum}'
55

找出有faild信息, 总共出现了多少次 (awk统计)
难点: windows文件如何传输到linux系统
yum install -y lrzsz --- 实现windows和linux系统之间数据传输
rz -- 将windows数据 ---> linux系统
sz -- 将linux数据 ---> windows系统

awk '/Failed/{i++}END{print i}' secure-20161219
awk '$6~/Failed/{i++}END{print i}' secure-20161219'