awk的强大操作

作者: 尘世不扰 | 来源:发表于2019-03-18 22:33 被阅读2次

awk是一种用于处理文本、模式匹配的编程语言。与sed和grep,俗称Linux下的三剑客。学会 awk 等于你在 Linux 命令行里,又多了一种处理文本的选择。这篇文章重点教你如何使用,看完这篇文章,就大致知道如何使用了,力求简单使用。

image

术语铺垫

在awk的文本处理规则里,awk将文本文件视为由字段和记录组成的文本数据库。默认情况下,awk将每一行视为一个记录,也就是说记录的分隔符是 ,记录的分隔符可以通过内置变量RS更改。

在每一个记录中,又把记录分为若干个字段,即记录由字段组成,而字段的默认分隔符为空格或制表符。

一、基础用法

和我们平常使用的 Linux 命令一样, awk 也是遵循着某种格式来使用,格式如下:

使用格式
awk 执行的事件 文件

# 例如:root@jaking-virtual-machine:~# awk '{print $0}' test.txtMy first language:PythonMy second language:ShellMy third language:JavaMy fourth language:C

其中,print 表示打印,$0 表示一整个记录,test.txt 表示一个文件。所以

awk '{print $0}' test.txt

表示把 test.txt 文件里面的每行记录都打印出来。

$0 表示整个记录,不过 $1, $2, $3.....则表示整个记录中的第一个字段,第二个字段......。root@jaking-virtual-machine:~# awk '{print $1}' test.txtMyMyMyMyroot@jaking-virtual-machine:~# awk '{print $2}' test.txtfirstsecondthirdfourthroot@jaking-virtual-machine:~# awk '{print $3}' test.txtlanguage:Pythonlanguage:Shelllanguage:Javalanguage:C

刚才我们说字段的默认分隔符是空格或者制表符这些,默认意味着我们可以自己显式着指定分隔符。下面我们用“:”来作为我们的分隔符吧。

root@jaking-virtual-machine:~#  awk -F ':' '{print $2}' test.txtPythonShellJavaC

上面我们用参数 -F 指定了我们的分隔符,即如果想要指定字段的分隔符,可以用参数 -F 指定分隔符。

二、条件限制

在打印文本的时候,我们可以指定一些条件。格式如下:

awk 参数 条件 要执行的动作 文件

例如我们指定分隔符为“:”,条件为第二个字段为"Java"的记录。

# 打印第二个字段为"Java"的文本root@jaking-virtual-machine:~# awk -F ':' '$2 == "Java" {print $2}' test.txtJava打印奇数行的的第二个字段:# 打印奇数行的记录root@jaking-virtual-machine:~# awk -F ':' 'NR % 2 == 1 {print $2}' test.txtPythonJava

其中,NR 是一个内置的变量,表示当前正在处理的记录,即当前的记录是第几个记录。

三、条件语句

和我们平常的编程一样,awk 也提供了 if, else, while 等这些条件语句。

例如,打印第二个及其之后的记录:

root@jaking-virtual-machine:~# awk '{if(NR > 1) print $2}' test.txtsecondthirdfourth

注意,上面的字段分隔符是空格了,并且 if 语句是在“{}” 里指定的。

再看一个例子:

root@jaking-virtual-machine:~# awk '{if($1 < "s") print $1; else print $2}' test.txt# 如果第一个字段小于“s",则打印第一个字段,否则打印第二个字段MyMyMyMyroot@jaking-virtual-machine:~# awk '{if($1 > "s") print $1; else print $2}' test.txtfirstsecondthirdfourthroot@jaking-virtual-machine:~# awk '{if($1 < "l") print $1; else print $2}' test.txtMyMyMyMyroot@jaking-virtual-machine:~# awk '{if($1 > "l") print $1; else print $2}' test.txtfirstsecondthirdfourthroot@jaking-virtual-machine:~# awk '{if($1 > "c") print $1; else print $2}' test.txtfirstsecondthirdfourthroot@jaking-virtual-machine:~# awk '{if($1 > "d") print $1; else print $2}' test.txtfirstsecondthirdfourthroot@jaking-virtual-machine:~# awk '{if($1 > "p") print $1; else print $2}' test.txtfirstsecondthirdfourthroot@jaking-virtual-machine:~# awk '{if($1 < "p") print $1; else print $2}' test.txtMyMyMyMyroot@jaking-virtual-machine:~# awk '{if($3 < "s") print $3; else print $2}' test.txtlanguage:Pythonlanguage:Shelllanguage:Javalanguage:Croot@jaking-virtual-machine:~# awk '{if($2 < "s") print $3; else print $2}' test.txtlanguage:Pythonsecondthirdlanguage:Croot@jaking-virtual-machine:~# awk '{if($2 < "s") print $1; else print $2}' test.txtMysecondthirdMy

四、函数

awk 提供了一些内置函数来供我们使用,一下常用的函数如下:

tolower():字符转为小写。
toupper():字符转为大写
length():返回字符串长度。
substr():返回子字符串。
sqrt():平方根。
rand():随机数。

root@jaking-virtual-machine:~# awk '{print toupper($1)}' test.txtMYMYMYMYroot@jaking-virtual-machine:~# awk '{print tolower($1)}' test.txtmymymymyroot@jaking-virtual-machine:~# awk -F ':' '{print toupper($2)}' test.txtPYTHONSHELLJAVACroot@jaking-virtual-machine:~# awk -F ':' '{print tolower($2)}' test.txtpythonshelljavac

五、变量

刚才我们说 NR 是一个表示当前正在处理的记录是第几个记录的内置变量,常用的内置变量如下:

NR:表示当前处理的是第几行NF:表示当前行有多少个字段FILENAME:当前文件名FS:字段分隔符,默认是空格和制表符。RS:行分隔符,用于分割每一行,默认是换行符。OFS:输出字段的分隔符,用于打印时分隔字段,默认为空格。ORS:输出记录的分隔符,用于打印时分隔记录,默认为换行符。

例如我们要打印每一个记录的最后一个字段,就可以使用变量 NF 了。

root@jaking-virtual-machine:~# awk '{print $NF}' test.txtlanguage:Pythonlanguage:Shelllanguage:Javalanguage:C

对了,刚才那个 NR 的变量也是挺好用的,例如:

root@jaking-virtual-machine:~# awk '{print NR ". "  $0}' test.txt1. My first language:Python2. My second language:Shell3. My third language:Java4. My fourth language:C

相关文章

  • awk的强大操作

    awk是一种用于处理文本、模式匹配的编程语言。与sed和grep,俗称Linux下的三剑客。学会 awk 等于你在...

  • awk

    awk 工具 awk也是流式编辑器,针对文档中的行来操作,一行一行地执行。awk兼具sed的所有功能,而且更加强大...

  • [linux] awk

    Overview awk是一个强大的文本处理工具,尽管操作可能会很复杂,但命令的语法始终是:awk '{patte...

  • 18-文本处理三剑客之awk

    本章内容 ◆ awk介绍◆ awk基本用法◆ awk变量◆ awk格式化◆ awk操作符◆ awk条件判断◆ aw...

  • awk(1)

    概述awk是一个功能非常强大的的数据操作实用程序。作为一个程序,awk可以对大范围的数据进行匹配搜索和修改,同时它...

  • 2017 09-04 AWK

    本章主要学习内容awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 awk条件判断 a...

  • 生物信息学中可能用到的几个awk操作命令

    awk作为强大的文本分析工具其功能十分强大。 其语法结构为 :awk “{pattern + action}” {...

  • 简明AWK实战教程

    1. 什么是AWK? AWK是一个强大的格式化文本处理工具,一般在类Unix操作系统中都是必带的工具(Linux、...

  • awk

    awk:报告生成器,格式化文本输出 内容: awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 a...

  • Linux

    linux awk命令详解、linux awk命令Linux常用操作指令Linux netstat命令详解 awk...

网友评论

    本文标题:awk的强大操作

    本文链接:https://www.haomeiwen.com/subject/sevimqtx.html