grep、sed、awk

一、grep的用法

1、grep简介

• grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
• grep包含grep和egrep，其中egrep为扩展正则，支持更多的元字符，功能更强大。使用-E也可以实现grep的扩展功能。

2、grep命令参数

-a或--text 不要忽略二进制的数据。
-A<显示列数>或--after-context=<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之后的内容。
-b或--byte-offset 在显示符合范本样式的那一列之前，标示出该列第一个字符的位编号。
-B<显示列数>或--before-context=<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前的内容。
-c或--count 计算符合范本样式的列数。
-C<显示列数>或--context=<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外，并显示该列之前后的内容。
-d<进行动作>或--directories=<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
-e<范本样式>或--regexp=<范本样式> 指定字符串做为查找文件内容的范本样式。
-E或--extended-regexp 将范本样式为延伸的普通表示法来使用。
-f<范本文件>或--file=<范本文件> 指定范本文件，其内容含有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每列一个范本样式。
-F或--fixed-regexp 将范本样式视为固定字符串的列表。
-G或--basic-regexp 将范本样式视为普通的表示法来使用。
-h或--no-filename 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。
-H或--with-filename 在显示符合范本样式的那一列之前，表示该列所属的文件名称。
-i或--ignore-case 忽略字符大小写的差别。
-l或--file-with-matches 列出文件内容符合指定的范本样式的文件名称。
-L或--files-without-match 列出文件内容不符合指定的范本样式的文件名称。
-n或--line-number 在显示符合范本样式的那一列之前，标示出该列的列数编号。
-q或--quiet或--silent 不显示任何信息。
-r或--recursive 此参数的效果和指定“-d recurse”参数相同。
-s或--no-messages 不显示错误信息。
-v或--revert-match 反转查找。
-V或--version 显示版本信息。
-w或--word-regexp 只显示全字符合的列。
-x或--line-regexp 只显示全列符合的列。
-y 此参数的效果和指定“-i”参数相同。
--help 在线帮助。

3、grep实例

（1）过滤以m开头的行

[root@jzyue ~]# grep ^m test.txt

（2）过滤以k结尾的行

[root@jzyue ~]# grep k$ a.txt

（3）排除空行并打印行号

[root@jzyue ~]# grep -vn "^$" a.txt

（4）匹配任意一个字符，不包括空行

[root@jzyue ~]# grep "." a.txt

（5）匹配所有

[root@jzyue ~]# grep ".*" a.txt

（6）精确匹配

[root@jzyue ~]# grep "file" a.txt

（7）匹配有xyz的行

[root@jzyue ~]# grep "[xyz]" a.txt

（8）重复a三次

[root@jzyue ~]# grep "a{3}" a.txt

（9）匹配a至少出现3次最多出现5次

[root@jzyue ~]# grep -E "a{3,5}" a.txt

（10）至少出现1次或一次以上的

[root@jzyue ~]# egrep "a{1,}" a.txt

二、sed的用法

1、sed简介

• Stream Editor文本流编辑，sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容，可以不对原文件改动，把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动，但是不会再屏幕上返回结果。
• Sed 要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

2、sed命令参数

-e 允许多项编辑
-n 只打印模式匹配的行
-i 直接修改对应文件
-r 支持扩展元字符

3、sed实例

（1）删除1-2行信息

[root@jzyue ~]# sed '1,2d' a.txt

（2）打印出/etc/passwd下第二行信息

[root@jzyue ~]# sed -n '2p' /etc/passwd

（3）打印出/etc/passwd下最后一行信息

[root@jzyue ~]# sed -n '$p' /etc/passwd

（4）修改网卡IP地址(111改为70)

[root@jzyue ~]# sed 's#111#70#g' /etc/sysconfig/network-scripts/ifcfg-eth0

（5）使用sed命令关闭selinux

[root@jzyue ~]# sed '7c SELINUX=Disable' /etc/selinux/config

（6）将a.txt第20行下添加ideapad

[root@jzyue ~]# sed -i '20a ideapad;' a.txt

（7）删除第21行信息

[root@jzyue ~]# sed '21d' a.txt

（8）删除所有行的信息

[root@jzyue ~]# sed '1,$d' a.txt

（9）为第二行到第六行添加注释信息

[root@jzyue ~]# sed -r '2,6s/.*/#&/' passwd.txt

三、awk的用法

1、awk简介

awk是一个优良的文本处理工具，linux及unix环境现有的功能最强大的数据处理引擎之一。awk进行逐行扫描文件，从第一行到最后一行，寻找匹配的行进行操作。

2、awk命令参数

-F：定义分隔符

3、awk实例

（1）匹配包含nologin的行

[root@jzyue ~]# awk '/nologin/' passwd.txt

（2）指定冒号为分隔符，显示第一列

[root@jzyue ~]# awk -F: '{print $1}' passwd.txt

（3）NR记录输入总的行号

[root@jzyue ~]# awk '{print NR,$0}' passwd.txt

（4）以root开头的行

[root@jzyue ~]# awk '/^root/' passwd.txt

（5）UID为0的列出来

[root@jzyue ~]# awk -F ":" '$3==0' /etc/passwd

（6）UID小于10的列出来

[root@jzyue ~]# awk -F: '$3 < 10' /etc/passwd

（7）常见的表达式

关系运算符
运算符 含义 示例
< 小于 x<y
<= 小于或等于 x<=y
== 等于 x==y
!= 不等于 x!=y
= 大于等于 x>=y
大于 x>y

（8）逻辑操作符

&&逻辑与 || 逻辑或 !逻辑非
匹配用户名为root并且打印uid小于15的行
[root@jzyue ~]# awk -F: '3<=15' /etc/passwd
匹配用户名为root或uid大于5000
[root@jzyue ~]# awk -F: '3>=5000' /etc/passwd

（9）条件判断

if语句格式:{ if(表达式)｛语句;语句;... ｝}
打印当前管理员用户名称
[root@jzyue ~]# awk -F: '{ if(1 "is adminisitrator"} }' /etc/passwd
统计系统用户数量
[root@jzyue ~]# awk -F: '{ if(3<1000){i++}} END {print i}' /etc/passwd
统计普通用户数量
[root@jzyue ~]# awk -F: '{ if($3>1000){i++}} END {print i}' /etc/passwd

（10）..else 语句格式: {if(表达式)｛语句;语句;... ｝else{语句;语句;...}}

awk -F: '{if(1} else {print 3==0) {count++} else{i++} }' /etc/passwd
awk -F: '{if($3==0){count++} else{i++}} END{print " 管理员个数: "count ; print " 系统用户数: "i}' /etc/passwd

（11）循环语句

[root@jzyue ~]# awk 'BEGIN{ i=1; while(i<=10){print i; i++} }'
[root@jzyue ~]# awk -F: '{i=1; while(i<=NF){print 0; i++}}' /etc/passwd

（12）1.4.13.10 统计2018年01月25日,8:30-9:00访问状态码是404*

[root@jzyue ~]# awk '4<="[25/Jan/2018:19:00:00" && 9]++} END {for(i in code){print i,code[i]}}' log.bjstack.log
[root@jzyue ~]# awk '9]++} END {for(i in code){print i,code[i]}}' log.bjstack.log