美文网首页
程序员的AWK日常使用

程序员的AWK日常使用

作者: 田佳伟 | 来源:发表于2017-02-13 16:02 被阅读0次

    介绍

    AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。

    GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。

    用途

    AWK在程序员的日常工作中有以下几种用途

    1、文本处理(从日志中筛选有用的记录,根据条件进行统计,字符串操作)

    2、输出格式化的文本报表(根据想要的格式输出日志等文件,转成SQL进行存储)

    3、执行算数运算(对日志等格式化文件中的记录数据进行各种计算)

    使用

    一、语法

    AWK语言结构由三部分组成(BEGIN语句块,body语句块,END语句块)

    实例:awk 'BEGIN{printf "first row content" } {print "body"} END{print "last row content"}'

    说明:①BEGIN语句块最先执行且只执行1次,BEGIN必须大写,BEGIN语句块可以省略

    ②body部分的语句会对应用到文件或者输入内容的每一样内容,逐行执行,直到文件结束

    ③END语句块最后执行,可以做一些统计输出之类的功能,此语句块也是可省略的

    二、执行方式

    ① 命令行直接写awk语句执行 如:awk 'BEGIN{printf "first row content" } {print "body"}  END{print "last row content"}  awk.txt'

    ② 将程序写入 .awk 文件中执行 如:awk -f command.awk awk.txt

    三、常用语法

    ① 指定分隔符

    默认以空格为字段之间的分隔符,也可以进行指定: 

    指定单个分隔符  awk -F "@" 指定@为分隔符

    指定多个个分隔符  awk -F "[@ \t]" 指定@或空格或TAB为分隔符(存在多个分隔符时同时生效)

    awk文件内指定分隔符 awk 'BEGIN{FS="@"} {print} END{print "end"}' 

    ② 字符串拼接

    通常:用双引号与字段拼接 例如:awk '{print $1 "*" $2}' output.txt(*代表拼接的内容)

    例外:拼接单引号或双引号 awk '{print $1 "*'\''" $2}' 或 awk '{print $1 "*\"" $2}'

    ③ 输出指定列

    例子:awk '{print $1 "*" $2}' output.txt (说明:$1代表依据分隔符分割之后第一列,以此类推,而且打印顺序可以随意摆放)

    ④ 流程控制(if else)

    实例

    ⑤ 循环

    四、内建函数

    ① 算数函数

    内建算数函数

    举例说明:

    [chengmo@centos5 ~]$ awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}'

    0.841 22026.466 2.303 3

    OFMT 设置输出数据格式是保留3位小数

    获得随机数:

    [chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

    [chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

    [chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

    ② 字符串函数

    字符串内建函数

    例子:root@homestead:/home/www# awk -F "[ ,]" '{print length($1)}' output.txt

    ③ 时间函数

    systime

    mktime(datespec)

    strftime([format [, timestamp[, utc-flag]]])

    例子:awk -F "[ ,]" '{print length($1) "time: " strftime("%Y-%m-%d",systime())}' output.txt

    五、输出重定向

    输出重定向

    例子:awk '{print length($1) "  time: " strftime("%Y-%m-%d",systime()) > "a.txt"}' output.txt

    六、正则表达式

    ① 在命令行对文件每一行进行正则匹配

    命令行正则匹配

    ② 利用函数对具体字符串进行处理 

    gsub(regex, sub, string)

    match(str, regex)

    split(str, arr, regex)

    sub(regex, sub, string)

    总结:awk在日常开发中会为程序员省掉很多时间,比如日志统计、筛选,将有格式的文件入库等操作,当然awk作为一门简单的工具语言还有更强大的功能,这里就不一一介绍了

    更多语法特性请参考:http://mp.weixin.qq.com/s/X0ire4dYiceC2CzPU6JsSw

    相关文章

      网友评论

          本文标题:程序员的AWK日常使用

          本文链接:https://www.haomeiwen.com/subject/kuozittx.html