美文网首页
awk案例学习

awk案例学习

作者: caoxinyiyi | 来源:发表于2018-07-23 10:57 被阅读3次

awk是一个强大的文本分析工具,awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作。

使用方法

awk '{pattern+action} {filename}'

pattern 表示 AWK 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令。

例子1:读取指定列的内容

 cat /etc/passwd |awk  -F ':'  '{print $1}'

awk工作流程:逐行读取(以‘\n’区分),默认以空格分开,0是整行内容,1是第一列内容。
例子中是awk+action的示例,每行都会执行action{print $1}。-F指定域分隔符为':' (默认的域分隔符是空格)。

例子2:在输出的开头和结尾添加输出

在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

awk工作流程是这样的:先执行BEGIN,然后读取文件,读入有/n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。

例子3:搜索含有某关键字的行

(找出含有关键字‘man’的行)

cat '/etc/passwd' | awk -F : '/man/{print $0}'  

例子4:单双引号

双引号
awk '{print "\""}'        #放大:awk '{print "  \"  "}'
单引号
awk '{print "'\''"}'       # 放大: awk '{print  "  '  \  '  '   " }'

例给读出的每行内容加上单引号,行末还加上逗号

cat del | awk '{print "'\''"$1"'\''"","}'

例子5:内置变量

ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符,等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符

awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd

例子6:条件判断

把文件text中第二列大于10的行的第一列+“is expensive”输出

cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}'

例子7:复合表达式

把文件text中第二列大于10的输出“is expensive”,小于9的输出“is cheap”

cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}
$2 <= 9 {print $1 " is cheap"}'

例子8:BEGIN END

cat Hurl_sort_copy| awk -F "\t" 'BEGIN{cnt=0}{cnt+=$3} END{print cnt}'
$cat del2
==>===>====>mod:len:59
==>===>====>mod:len:238
==>===>====>mod:len:49
==>===>====>mod:len:483

$cat del2 | awk -F 'len:' 'BEGIN {sum=0} {sum += $2} END {print sum}'
829

显示中间过程

cat del | awk 'BEGIN {cnt=0}{print cnt"\t"$0}{cnt+=1}'  #表达式之间用{}隔开

例子9:if else

cat   text  | awk -F "\t" 'BEGIN {cntL=0;cntR=0} {if(NF>=9){cntL+=1} else {cntR+=1}} END {print cntL; print cntR}'      #列数大于等于9的个数为cntL; 列数小于9的个数为cntR

相关文章

  • awk案例学习

    awk是一个强大的文本分析工具,awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析...

  • 【技术案例】跟老男孩学运维-awk项目案例

    一个awk数组应用案例 [TOC] 0.技术点: awk awk数组 awk判断 awk数组赋值 awk函数spl...

  • awk与send

    awk案例一: ss -antulp |awk '{print $4}'Send-Q128129......去除首...

  • AWK 案例

    Cite: AWK 案例[https://www.bilibili.com/video/BV1BJ411X7QN?...

  • 2017 09-04 AWK

    本章主要学习内容awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 awk条件判断 a...

  • awk案例整理

    --关于内建变量,统一总结下:1~$n 当前记录的第n个字段,字段间由FS分隔FS 输入字段分隔...

  • linux 文件操作(sort awk)

    排序 文本操作 awk awk学习指南[https://www.ruanyifeng.com/blog/2018/...

  • Linux命令学习之:awk命令

    Linux命令学习之:awk命令 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk...

  • 千峰逆战技术分享第十四天 linux命令awk基础用法整理

    该文章是之前学awk的时候整理的,今天发布上来留个纪念。主要是以案例来讲解awk的使用方法,以及延伸到一些实际生产...

  • 三十分钟学会AWK

    本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,...

网友评论

      本文标题:awk案例学习

      本文链接:https://www.haomeiwen.com/subject/oppdmftx.html