刘小泽写于19.4.29
在grep、sed、awk中awk应该是最为强大的了，它可以单独作为一门语言去学，但是现在没有必要，掌握基础的用法就可以啦。
我认为，awk的作用简而言之就是以行输入，以列处理
本次内容来自一本叫做"sed-awk-101Hacks"，可以利用一些简单的小例子来练习，虽然和生物无关，但是技术到位了日后才可以顺利分析
首先在linux中新建几个文件，作为示例数据
第一个文件：有三列，分别是员工号、姓名、职位
cat >employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager
AWK的基本语法
Basic
awk -Fs '/pattern/ {action}' input-file
- -F表示分隔符(filed delimiter)
- /pattern/和{action}应该放在一个单引号中
- /pattern/指的是匹配。当然这一项是可选的，如果不提供的话，awk默认对输入文件的所有行进行遍历；如果指定了，awk只会对匹配上的进行操作
- {action}中是awk的精髓，可以包含一个或多个命令
比如：
awk -F: '/mail/ {print $1}' /etc/passwd
mail
-F指定:是分隔符(可以先看下/etc/passwd这个文件；awk默认是空格分隔）。然后匹配上mail的输出第一列
将命令封装到单独脚本中
如果要利用awk执行许多命令，可以将一系列的/pattern/ {action} 保存到比如叫test.awk的脚本中，然后调用
awk -F -f myscript.awk input-file
这个脚本文件后缀可有可无，有后缀只是为了让后期修改更容易识别[这里要说明一下，linux中后缀的概念并不是那么重要，起到的作用一般是标识]
当然，如果自己在脚本中指定了分隔符，那么直接调用脚本就好
awk -f myscript.awk input-file
awk编程结构(BEGIN，body，END)
- BEGIN：就是
BEGIN {commands}
只在开头，也就是awk开始执行真正的命令前；
它是打印header行、初始化变量的好帮手；
BEGIN中可以包含一个或者多个awk命令；
BEGIN必须要大写；
BEGIN部分可有可无 - Body：就是
/pattern/ {action}
每读入一行就执行一次这个命令； - END：就是
END {commands}
awk大体流程
举个例子：
awk 'BEGIN { FS=":";print "---header---" } /mail/ {print $1} END { print "---footer---"}' /etc/passwd
---header---
mail
---footer---
可以看到，在BEGIN中也是可以指定分隔符的，它用的是FS=":"
如果不想把上面这么长的命令写在一行中，也可以这样：
cat >test.awk
BEGIN {
FS=":"
print "---header---"
}
/mail/ {
print $1
} END {
print "---footer---"
}
awk -f test.awk /etc/passwd
几种常见的awk表现形式：
-
只有body
awk -F: '{ print $1 }' /etc/passwd -
全套
awk -F: 'BEGIN { printf "username\n------\n"} \ { print $1 } \ END { print "------" }' /etc/passwd -
body加BEGIN/END其中一个
awk -F: 'BEGIN { print "UID"} { print $3 }' /etc/passwd -
只用BEGIN或者END
结果和echo输出的效果一样，例如
awk 'BEGIN { print "Hello World!" }' Hello World!
当指定多个文件时
比如对两个文件进行awk操作，它是先对第一个文件的所有行操作完，再进行第二个文件操作，但是BEGIN和END只输出一次
awk 'BEGIN { FS=":";print "---header---" } \ /mail/ {print $1} \
END { print "---footer---"}' /etc/passwd /etc/group
Print命令
默认情况下，awk的print函数打印所有的行，比如
awk '{print}' employee.txt
101,John Doe,CEO
102,Jason Smith,IT Manager
103,Raj Reddy,Sysadmin
104,Anand Ram,Developer
105,Jane Miller,Sales Manager
它和{print $0}的效果一样，因为$0是每一行中全部记录的意思
要是指定输出某一列，就用$加数字，指定提取第几列，比如
awk '{print $2}' employee.txt
Doe,CEO
Smith,IT
Reddy,Sysadmin
Ram,Developer
Miller,Sales
但是，发现和想要的不对！为什么？
因为分隔符的问题，awk默认是空格，但是这里是逗号分隔，因此加一个-F就好了
awk -F ',' '{print $2}' employee.txt
John Doe
Jason Smith
Raj Reddy
Anand Ram
Jane Miller
当分隔符只有一个字符时，指定形式很随意，可以双引号，可以单引号，还恶意没有引号
awk -F ',' '{print $2}' employee.txt
awk -F "," '{print $2}' employee.txt
awk -F, '{print $2}' employee.txt
格式匹配 pattern matching
比方输出包含manager的姓名和职位
awk -F ',' '/Manager/ {print $2, $3}' employee.txt
Jason Smith IT Manager
Jane Miller Sales Manager
打印员工号是102的姓名
awk -F ',' '/^102/ {print "Emp id 102 is", $2}' \ employee.txt
Emp id 102 is Jason Smith
欢迎关注我们的公众号～_～
我们是两个农转生信的小硕，打造生信星球，想让它成为一个不拽术语、通俗易懂的生信知识平台。需要帮助或提出意见请后台留言或发送邮件到jieandze1314@gmail.com
Welcome to our bioinfoplanet!
网友评论