美文网首页
Linux常用命令详解 | awk

Linux常用命令详解 | awk

作者: 生信师姐 | 来源:发表于2020-05-02 12:01 被阅读0次

    参考
    AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

    awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。awk 是三剑客的老大，利剑出鞘，必会不同凡响。

    通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

    语法

    awk [选项参数]  '{pattern + action}' {filenames}
    • pattern 表示 AWK 在数据中查找的内容，借助于正则表达式，匹配内容用斜杠括起来。
    • action 是在找到匹配内容时所执行的一系列命令。
    • {}花括号不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。

    选项参数说明：

    • -F fs or --field-separator fs
      指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
    • -v var=value or --asign var=value
      赋值一个用户定义变量。
    • -f scripfile or --file scriptfile
      从脚本文件中读取awk命令。
    • -mf nnn and -mr nnn
      对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
    • -W compact or --compat, -W traditional or --traditional
      在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
    • -W copyleft or --copyleft, -W copyright or --copyright
      打印简短的版权信息。
    • -W help or --help, -W usage or --usage
      打印全部awk选项和每个选项的简短说明。
    • -W lint or --lint
      打印不能向传统unix平台移植的结构的警告。
    • -W lint-old or --lint-old
      打印关于不能向传统unix平台移植的结构的警告。
    • -W posix
      打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符和=不能代替和=；fflush无效。
    • -W re-interval or --re-inerval
      允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
    • -W source program-text or --source program-text
      使用program-text作为源代码，可与-f命令混用。
    • -W version or --version
      打印bug报告信息的版本。

    基本用法

    log.txt文本内容如下：

    2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo

    用法一：

    awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

    实例：

    # 每行按空格或TAB分割，输出文本中的1、4项
 $ awk '{print $1,$4}' log.txt
 ---------------------------------------------
 2 a
 3 like
 This's
 10 orange,apple,mongo
 # 格式化输出
 $ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
 ---------------------------------------------
 2        a
 3        like
 This's
 10       orange,apple,mongo

    用法二：

    awk -F  #-F相当于内置变量FS, 指定分割字符

    实例：

    # 使用","分割
 $  awk -F, '{print $1,$2}'   log.txt
 ---------------------------------------------
 2 this is a test
 3 Are you like awk
 This's a test
 10 There are orange apple
 # 或者使用内建变量
 $ awk 'BEGIN{FS=","} {print $1,$2}'     log.txt
 ---------------------------------------------
 2 this is a test
 3 Are you like awk
 This's a test
 10 There are orange apple
 # 使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割
 $ awk -F '[ ,]'  '{print $1,$2,$5}'   log.txt
 ---------------------------------------------
 2 this test
 3 Are awk
 This's a
 10 There apple

    用法三：

    awk -v  # 设置变量

    实例：

     $ awk -va=1 '{print $1,$1+a}' log.txt
 ---------------------------------------------
 2 3
 3 4
 This's 1
 10 11
 $ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
 ---------------------------------------------
 2 3 2s
 3 4 3s
 This's 1 This'ss
 10 11 10s

    用法四：

    awk -f {awk脚本} {文件名}

    实例：

     $ awk -f cal.awk log.txt

    运算符

    （1）赋值运算符：
    a+5;等价于： a=a+5;其他同类

    $ awk 'BEGIN{a=5;a+=5;print a}'
10

    （2）逻辑运算符：
    判断表达式 a>2&&b>1为真还是为假，后面的表达式同理.

    $ awk 'BEGIN{a=1;b=2;print (a>2&&b>1,a=1||b>1)}'
0 1

    （3）正则运算符 字符串~/正则表达式/

    $ awk 'BEGIN{a="100testaa";if(a~/100/) {print "ok"}}'
ok

    $ echo | awk 'BEGIN{a="100testaaa"}a~/test/{print "ok"}'
ok

    （4）关系运算符
    如：> < 可以作为字符串比较，也可以用作数值比较，关键看操作数如果是字符串就会转换为字符串比较。两个都为数字才转为数值比较。字符串比较：按照ascii 码顺序比较。

    $ awk 'BEGIN{a="11";if(a>=9){print "ok"}}' #无输出
$ awk 'BEGIN{a=11;if(a>=9){print "ok"}}' 
ok

$ awk 'BEGIN{a;if(a>=b){print "ok"}}'
ok

    （5）算术运算符
    所有用作算术运算符进行操作，操作数自动转为数值，所有非数值都变为0。

    $ awk 'BEGIN{a="b";print a++,++a}'
0 2


$ awk 'BEGIN{a="20b4";print a++,++a}'
20 22

    a++是先赋值加++；++a是先++再赋值

    过滤第一列大于2的行

    $ awk '$1>2' log.txt

    过滤第一列等于2的行的1,3列

    $ awk '$1==2 {print $1,$3}' log.txt

    过滤第一列大于2并且第二列等于'Are'的行

    $ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt

    （6）三目运算符 ?

    $ awk 'BEGIN{a="b";print a=="b"?"ok":"err"}'
ok


$ awk 'BEGIN{a="b";print a=="c"?"ok":"err"}'
err

    内建变量

    注：内置变量很多，参阅相关资料

    变量 描述
    $n 当前记录的第n个字段，字段间由FS分隔 **
    $0 完整的输入记录 **
    ARGC 命令行参数的数目
    ARGIND 命令行中当前文件的位置(从0开始算)
    ARGV 包含命令行参数的数组
    CONVFMT 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
    ERRNO 最后一个系统错误的描述
    FIELDWIDTHS 字段宽度列表(用空格键分隔)
    FILENAME 当前文件名
    FNR 各文件分别计数的行号
    FS 字段分隔符(默认是任何空格) **
    IGNORECASE 如果为真，则进行忽略大小写的匹配
    NF 一条记录的字段的数目 **
    NR 已经读出的记录数，就是行号，从1开始 **
    OFMT 数字的输出格式(默认值是%.6g)
    OFS 输出记录分隔符（输出换行符），输出时用指定的符号代替换行符
    ORS 输出记录分隔符(默认值是一个换行符)
    RLENGTH 由match函数所匹配的字符串的长度
    RS 记录分隔符(默认是一个换行符)
    RSTART 由match函数所匹配的字符串的第一个位置
    SUBSEP 数组下标分隔符(默认值是/034)

    字段分隔符 FS
    FS="\t" 一个或多个 Tab 分隔

    $ cat tab.txt
ww   CC        IDD


$ awk 'BEGIN{FS="\t+"}{print $1,$2,$3}' tab.txt
ww   CC        IDD

    FS="[[:space:]+]" 一个或多个空白空格，默认的

    $ awk -F [[:space:]+] '{print $1,$2,$3,$4,$5}' space.txt

    FS="[" ":]+" 以一个或多个空格或：分隔

    $ awk -F [" ":]+ '{print $1,$2,$3}' hello.txt

    字段数量 NF， FS分隔完，剩下的就是字段数量

    $ awk -F ":" 'NF==8{print $0}' hello.txt
bin:x:1:1:bin:/bin:/sbin/nologin:888

    记录数量 NR NR：number row

    $ ifconfig eth0|awk -F [" ":]+ 'NR==2{print $4}'  ## NR==2也就是取第2行
192.168.17.129

    RS 记录分隔符变量
    将 FS 设置成"\n"告诉 awk 每个字段都占据一行。通过将 RS 设置成""，还会告诉 awk每个地址记录都由空白行分隔。

    $ cat recode.txt
Jimmy the Weasel
100 Pleasant Drive
San Francisco,CA 123456
 
Big Tony
200 Incognito Ave.
Suburbia,WA 64890


$  cat awk.txt
#!/bin/awk
BEGIN {
        FS="\n"
        RS=""
}
{
        print $1","$2","$3
}

$ awk -f awk.txt recode.txt
Jimmy the Weasel,100 Pleasant Drive,San Francisco,CA 123456
Big Tony,200 Incognito Ave.,Suburbia,WA 64890

    OFS 输出字段分隔符

    $ cat hello.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin:888


$ awk 'BEGIN{FS=":"}{print $1","$2","$3}' hello.txt
root,x,0
bin,x,1


$ awk 'BEGIN{FS=":";OFS="#"}{print $1,$2,$3}' hello.txt
root#x#0
bin#x#1

    ORS 输出记录分隔符

    $ cat recode.txt
Jimmy the Weasel
100 Pleasant Drive
San Francisco,CA 123456
 
Big Tony
200 Incognito Ave.
Suburbia,WA 64890


$  cat awk.txt
#!/bin/awk
BEGIN {
        FS="\n"
        RS=""
        ORS="\n\n"
}
{
        print $1","$2","$3
}


$ awk -f awk.txt recode.txt
Jimmy the Weasel,100 Pleasant Drive,San Francisco,CA 123456
 
Big Tony,200 Incognito Ave.,Suburbia,WA 64890

    $ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1         5    1
log.txt    2    2         5    2
log.txt    2    3         3    3
log.txt    2    4         4    4


$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4


# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are

# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

    四、使用正则，字符串匹配

    规则表达式
    awk '/REG/{action} ' file中/REG/为正则表达式，可以将$0 中，满足条件的记录送入到action 进行处理

    $ awk '/root/{print $0}' passwd                                ##匹配所有包含root的行
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
 
$ awk -F: '$5~/root/{print $0}' passwd                        ## 以分号作为分隔符，匹配第5个字段是root的行
root:x:0:0:root:/root:/bin/bash
 
$ ifconfig eth0|awk 'BEGIN{FS="[[:space:]:]+"} NR==2{print $4}'
192.168.17.129

    布尔表达式
    awk '布尔表达式{action}' file 仅当对前面的布尔表达式求值为真时， awk 才执行代码块。

    $ awk -F: '$1=="root"{print $0}' passwd
root:x:0:0:root:/root:/bin/bash

$ awk -F: '($1=="root")&&($5=="root") {print $0}' passwd
root:x:0:0:root:/root:/bin/bash

    # 输出第二列包含 "th"，并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

    ~ 表示模式开始。// 中是模式。

    # 输出包含"re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Are you like awk
10 There are orange,apple,mongo

    忽略大小写

    $ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

    模式取反

    $ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

    awk脚本

    关于awk脚本，我们需要注意两个关键词BEGIN和END。

    • BEGIN{ 这里面放的是执行前的语句 }
    • END {这里面放的是处理完所有的行后要执行的语句 }
    • {这里面放的是处理每一行时要执行的语句}

    假设有这么一个文件（学生成绩表）：

    $ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

    我们的awk脚本如下：

    $ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

    我们来看一下执行结果：

    $ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

    另外一些实例

    AWK的hello world程序为：

    BEGIN { print "Hello, world!" }

    计算文件大小

    $ ls -l *.txt | awk '{sum+=$6} END {print sum}'
--------------------------------------------------
666581

    从文件中找出长度大于80的行

    awk 'length>80' log.txt

    打印九九乘法表

    seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

    关于awk内建变量个人见解，简单易懂

    解释一下变量：

    变量：分为内置变量和自定义变量;输入分隔符FS和输出分隔符OFS都属于内置变量。

    内置变量就是awk预定义好的、内置在awk内部的变量，而自定义变量就是用户定义的变量。

    • FS(Field Separator)：输入字段分隔符， 默认为空白字符
    • OFS(Out of Field Separator)：输出字段分隔符， 默认为空白字符
    • RS(Record Separator)：输入记录分隔符(输入换行符)， 指定输入时的换行符
    • ORS(Output Record Separate)：输出记录分隔符（输出换行符），输出时用指定符号代替换行符
    • NF(Number for Field)：当前行的字段的个数(即当前行被分割成了几列)
    • NR(Number of Record)：行号，当前处理的文本行的行号。
    • FNR：各文件分别计数的行号
    • ARGC：命令行参数的个数
    • ARGV：数组，保存的是命令行所给定的各参数

    自定义变量的方法

    • 方法一：-v varname=value ，变量名区分字符大小写。
    • 方法二：在program中直接定义。

    BEGIN 和 END 模块

    BEGIN
    通常，对于每个输入行， awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况， awk 允许您定义一个 BEGIN 块。

    因为 awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。

    END
    awk 还提供了另一个特殊块，叫作 END 块。 awk 在处理了输入文件中的所有行之后执行这个块。通常， END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

    实例一：统计/etc/passwd的账户人数 *****

    awk '{count++;print $0;} END{print "user count is ",count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
...
user count is  27

    count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0，在BEGIN模块初始化。

    awk 'BEGIN {count=0;print "[start] user count is ",count} {count=count+1;print $0} END{print "[end] user count is ",count}' /etc/passwd
[start] user count is  0
root:x:0:0:root:/root:/bin/bash
...................................................................
[end] user count is  27

    实例二：统计某个文件夹下的文件占用的字节数

     ll | awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ",size}'
[end]size is  1489

    如果以M为单位显示:

     ll | awk 'BEGIN{size=0;} {size=size+$5;} END{print "[end]size is ",size/1024/1024,"M"}'

    小练习

    01 使某一列都增加一个数，这一列的数是不同的．本例中，第一列所有数都减１,列之间用table键连接.

    $ cat 19mer_out.histo | less
1 17335
2 98035
3 362003
4 998602
5 2191173
6 4018428
7 6359494
8 8797611
9 10852289
10 12163351


$ cat 19mer_out.histo | awk '{print $1-1"\t"$2}' |less
0       17335
1       98035
2       362003
3       998602
4       2191173
5       4018428
6       6359494
7       8797611
8       10852289
9       12163351

    02 打印第二列匹配aa开头并以aa结束的行.

    cat test.txt 
1   a
2   a
3   aa
4   aa
5   aa
5   a   
5   b
5   c

awk '{if($2~/^aa$/)print}' test.txt
3   aa
4   aa
5   aa

    03 打印第二列匹配aa开头并以aa结束的行.

    grep-v ffff过滤ipv6的地址，显示:80的行，删除A到Z和_对应的行，判断已:作为分隔符，打印第三列等于80的行。

    查看登录者的数据，只显示登录名和ip地址，并以 tab 隔开

    last
liu     pts/62       171.35.173.198     Tue Sep  1 09:01 - 15:24  (06:23)    
zhang   pts/61       112.111.217.172  Tue Sep  1 08:55   still logged in   
li      pts/60       182.34.22.145     Tue Sep  1 08:53 - 20:44  (11:51)    
hu      pts/23       125.108.80.12     Tue Sep  1 07:37 - 14:32  (06:54)    
liu     pts/28       175.42.122.253     Tue Sep  1 06:58 - 15:23  (08:25)    
liu     pts/23       171.35.141.103     Tue Sep  1 06:54 - 07:27  (00:32) 

last | awk '{print $1 "\t" $3}'
liu     171.35.173.198
zhang   112.111.217.172
li      182.34.22.145
hu      125.108.80.12

    [root@linuxidc ~]# netstat -nat | grep -v ffff | grep ":80" | tr -d "[A-Z][_]"| awk -F : '{if($3==80)print}'
tcp        0      0 10.15.201.29:38393          123.125.106.196:80           
tcp        0      0 10.15.201.29:38383          60.28.236.116:80             
tcp        0      0 10.15.201.29:44949          60.28.236.112:80             
tcp        0      0 10.15.201.29:41445          60.28.236.116:80             
tcp        0      0 10.15.201.29:47630          60.28.236.112:80             
tcp        0      0 10.15.201.29:48624          60.28.236.116:80               
tcp        0      0 10.15.201.29:48129          60.28.236.116:80             
tcp        0      0 10.15.201.29:48837          60.28.236.112:80             
tcp        0      0 10.15.201.29:50506          60.28.236.112:80             
tcp        0      0 10.15.201.29:53923          60.28.236.112:80

    awk '$0~/^\[/ { print $0}' nohup.out  > nohup

awk '$0 !~/^\[/ { print $0}' nohup.out  > raven.fa

    $cut -f8 syri.vcf | grep -v "#" | awk -F ";" '{print $1}'| awk -F "=" '{if($2!="") print $2}'  |head    
38796
39256
39256
49568
50734
50734
169742
172530
176561
174182

    选第8列；选择不含#的行； 选择以“：”分隔后的第一个字段列；选择以“=”分隔后，第二个字段列不为空的第二个字段列。

    cut -f8 /share/nas1/liuhl/test/Pan-Genome/variant_annotation/data/syri.vcf | awk -F ";" '{print $1}'| awk -F "=" '{ print $2}'   | paste /share/nas1/liuhl/test/Pan-Genome/variant_annotation/data/syri.vcf  end.txt |awk '{print $1,"\t",$2,"\t",$9}'  > vcf.bed

    相关文章

      网友评论

          本文标题：Linux常用命令详解 | awk

          本文链接：https://www.haomeiwen.com/subject/iefkwhtx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|Linux常用命令详解 | awk|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！