shell的三剑客
- grep用来文本搜索，支持正则表达式
- awk用来数据切片
- sed用来修改文件数据
grep
grep 是一行一行循环匹配，匹配到相应的值时会先输出，然后换行继续匹配再换行直到所有的内容都匹配完。
常用参数
-
-n显示行号 -
-i忽略大小写 -
-o精准匹配' -
E使用扩展正则表达式 -
-v反转查找，即输出与查找条件不相符合的行 -
-A：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来 -
-B：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来 -
--color=auto可将正确的那个撷取数据列出颜色 grep -n -A3 -B2 --color=auto '20428'
实例1
先创建了一个test文件输入以下内容
echo "hello from testerhome,this is for grep test" > test
通过grep匹配test文件中的hello from testerhome
[tmp]$ grep "hello from testerhome" test
输出：hello from testerhome,this is for grep test
# 加上-o精准匹配
grep -o "hello from testerhome" test
输出：test:hello from testerhome
# 不加-o会把包含匹配信息所在行中的所有内容输出(不在一行的不会输出)所以内
# 加-o只会输出匹配的信息，不会输出其他多余的信息
实例2，管道匹配
# 匹配 c
[tmp]$ echo abcd | grep -o c # 将管道前面的输出内容 作为后面的输入内容
输出：c
实例3，匹配网页内容
# 通过百度搜索关键字，然后通过正则匹配出搜索结果约xxx的内容，关键字以文件的形式作为参数循环传入
1. 创建文件 vim baidu.keywrod
2. 输入关键字
python
ios
shell
3. 输出命令
while read k; do echo $k; curl -s http://www.baidu.com/s?wd=$k; done < baidu.keyword
| grep "结果约[0-9,]*"
执行结果
执行结果
分析结果
- while read k; do echo $k; 循环读取内容，这里通过重定向输入到baidu.keywrod这个文件，去读取文件中的内容
- curl -s http://www.baidu.com/s?wd=$k 这个是请求百度搜索地址，将夺取的内容作为参数传给wd 。 -s 会忽略掉一些curl请求的相关信息
- | grep "结果约[0-9,]*" 通过管道命令 后面的gerp+正则匹配得到想要的结果
实例4，查看/etc/xxx.conf文件中除了以"#"开头的行（一般为注释）和空行以外的所有内容
[tmp]$ grep -v "^#" /etc/xxx.conf | grep -v "^#"
awk
awk 可以处理后续接的文件，也可以读取来自前个指令的标准输出，比较倾向于一行当中分成数个“字段”来处理。
一般格式
awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
- awk 'BEGIN{}END{}' 开始和结束
- awk '/Running/' 正则匹配
- awk '/aa/,/bb/' 区间选择
- awk '$2~/xxx/' 字段匹配
- awk 'NR==2' 取第二行
- awk 'NR>1' 去掉第一行
脚本格式
awk
'BEGIN{
初始化语句
}
{
pattern{actions}；
pattern{actions}；
...
}
END{
读取所有输入行后执行语句
}'
- 如果BEGIN区块存在，awk首先执行它里面包含的动作指令。
- 当awk读完所有的输入行后，如果存在END区域，执行END区域的指令。
- pattern（条件）可以是以下两种类型：
- 正则表达式：
/正则表达式/ - 布尔表达式：表达式成立，触发相应的actions执行，如 5>3{print}
- 正则表达式：
- actions（动作）是由许多awk指令构成
- awk的I/O指令有print、printf()、getline等
- awk的流程控制指令有if...else...、 while() {...}等
- 所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个指令辅助时，可利用分号“;”间隔， 或者直接以[Enter] 按键来隔开每个指令
- 与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。
- awk 后面接两个
单引号并加上大括号{}来设置想要对数据进行的处理动作。 - awk 主要是处理“每一行的字段内的数据”，而默认的“字段的分隔符号为 "空白键" 或 "[tab]键" ”！
也就是说，比如有这样一行内容“hello shell”， awk就会当成是两列$1取第一列的数据，$2取第二列的数据。
实例
- 打印1～10的自然数
[tem]$ awk 'BEGIN{while(++x<=10) print x}'
1
2
3
4
5
6
7
8
9
10
- 取出帐号与登陆者的 IP ，且帐号与 IP 之间以 [tab] 隔开
# 查看登陆者ip
[tmp]$ last -n 5
177**250 pts/26 182.**.120.43 Mon Jun 24 16:47 still logged in
000**481 pts/20 114.**2.105.123 Mon Jun 24 16:38 still logged in
504**406 pts/29 122.**2.15.42 Mon Jun 24 16:24 still logged in
171**144 pts/16 101.**4.84.70 Mon Jun 24 15:55 still logged in
101**869 pts/8 123.**0.4.245 Mon Jun 24 15:55 still logged in
# 取出帐号与登陆者的 IP ，且帐号与 IP 之间以 [tab] 隔开
[tmp]$ last -n 5 | awk '{print $1 "\t" $3}'
000**481 114.**2.105.123
504**406 122.**2.15.42
171**144 101.**4.84.70
101**869 123.**0.4.245
298**968 202.**5.145.242
-
在 awk 的括号内，每一行的每个字段都是有变量名称的，那就是 $1, $2... 等变量名称。以上面的例子来说,000**481 是 $1 ，因为他是第一栏嘛！至于114.**2.105.123 是第三栏， 所以他就是$3 啦！后面此类推，$NF代表最后一个字段。还有个变量！那就是 $0 ，$0 代表“一整列数据”的意思。
-
整个 awk 的处理流程是：
- 读入第一行，并将第一行的数据填入 $0, $1, $2.... 等变量当中；
- 依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；
- 做完所有的动作与条件类型；
- 若还有后续的“行”的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止
awk内置变量
| 变量名称 | 代表意义 |
|---|---|
| NF | 每一行 （$0） 拥有的字段总数 |
| NR | 目前 awk 所处理的是“第几行”数据 |
| FS | 目前字段的分隔字符，默认是空白键 |
| RS | 行分隔符，默认是换行 |
| FNR | 统计awk读取过的总行数 |
| OFS | 输出数据的字段分隔符 |
| ORS | 输出数据的行分隔符 |
| FILENAME | 当前输入文件名 |
我们继续以上面 last -n 5 的例子来做说明，如果我想要：
- 列出每一行的帐号（就是 $1）；
- 列出目前处理的行数（就是 awk 内的 NR 变量）
- 并且说明，该行有多少字段（就是 awk 内的 NF 变量）
[tmp]$ last -n 5| awk '{print $1 "\t 当前行数: " NR "\t 当前行总段数 " NF}'
02**2304 当前行数: 1 当前行总段数 10
72**2968 当前行数: 2 当前行总段数 10
95**6181 当前行数: 3 当前行总段数 10
17**8250 当前行数: 4 当前行总段数 10
00**6481 当前行数: 5 当前行总段数 10
实例2
- 在 /etc/passwd 当中是以冒号 ":" 来作为字段的分隔， 该文件中第一字段为帐号，第三字段则是 UID。那假设我要查阅，第三栏小于 10 以下的数据，并且仅列出帐号与第三栏。
[tmp]$ cat /etc/passwd | awk '{FS=":"} $3 < 10 {print $1 "\t " $3}'
root:x:0:0:root:/root:/bin/bash
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
- 找出nginx日志文件中某个时间段的日志
cat access.log | awk '$4 >="[28/June/2019:00:00:00" && $4 <="[28/June/2019:23:59:59"{print $0}' > 2019/06/28-access.log
sed
sed 本身也是一个管道命令，可以分析 standard input ，而且 sed 还可以将数据进行取代、删除、新增、截取特定行等等的功能
格式
sed [-nefr] [动作]
选项与参数：
-n ：使用安静（silent）模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到屏幕上。但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行（或者动作）才会被列出来。
-e ：直接在命令行界面上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正则表达式的语法。（默认是基础正则表达式语法）
-i ：直接修改读取的文件内容，而不是由屏幕输出。
动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表“选择进行动作的行数”，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则“ 10,20[动作行为] ”
function 有下面这些咚咚：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现（目前的下一行）～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i：插入， i 的后面可以接字串，而这些字串会在新的一行出现（目前的上一行）；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以取代匹配到的值！通常这个 s 的动作可以搭配正则表达式！
例如 1,20s/old/new/g就是啦！
实例1
# 将 /etc/passwd 的内容列出并且打印行号，同时，请将第 2~5 行删除！
[tem]$ nl /etc/passwd | sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
# 那个 d 就是删除！因为 2-5 行给他删除了，所以显示的数据就没有 2-5 行了
# 在第二行后（亦即是加在第三行）加上“hello shell”字样！
[tem]$ nl /etc/passwd | sed '2a hello shell'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
hello shell
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 如果要新增多行每一行之间都必须要以反斜线“ \ ”来进行新行的增加
[tem]$ nl /etc/passwd | sed '2a hello shell \
> hello world'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
hello shell
hello world
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 取出 11~20 行
[tem]$ nl /etc/passwd | sed -n '11,20p'
11 games:x:12:100:games:/usr/games:/sbin/nologin
12 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13 nobody:x:99:99:Nobody:/:/sbin/nologin
14 systemd-bus-proxy:x:999:998:systemd Bus Proxy:/:/sbin/nologin
15 systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
16 dbus:x:81:81:System message bus:/:/sbin/nologin
17 polkitd:x:998:997:User for polkitd:/:/sbin/nologin
18 tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
19 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
20 postfix:x:89:89::/var/spool/postfix:/sbin/nologin
请注意：
- sed 后面接的动作，请务必以
''两个单引号括住喔！ - 如果有多个动作 使用 -e 分隔 如，
nl /etc/passwd | sed -n -e '1,10p' -e '2,5d' -e '6i hello'
部分数据的搜索并取代
sed 's/要被取代的字串/新的字串/g'
实例2
取出ip地址
#先观察原始讯息，利用 /sbin/ifconfig eth0 查询 IP
[tem]$ /sbin/ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.19.147.8 netmask 255.255.240.0 broadcast 172.19.159.255
ether 00:16:3e:04:1c:75 txqueuelen 1000 (Ethernet)
RX packets 101946929 bytes 30358246998 (28.2 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 84401729 bytes 45138874295 (42.0 GiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
# 取出172.19.147.8
[tem]$ /sbin/ifconfig eth0 | grep "inet" | sed 's/.*inet//g' | sed 's/ *netmask.*//g'
172.19.147.8
说明：
1. 先用grep过滤出包含inet的行
2. 然后使用sed干掉ip地址前面的空字符串以及inet
3. 最后把 ip地址后面字符串也干掉
补充正则
字符匹配：
.任意单个字符
[]指定范围的字符
[^]不在指定范围的字符
次数匹配：
* 匹配前面字符0次或者任意次
? 0或1次
+ 1次或多次
{m} 匹配m次
{m,n} 至少m，至多n次
位置：
^ 行首
$ 行尾
^$ 空行
分组：
() 表示一个整体
egrep ‘r(oo)|(at)o‘ 1.txt 匹配roo或者ato
或者：
|
a|b a或b
C|cat C或cat
(C|c)at Cat或cat
补充一个好用的命令xargs
- xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令。
- xargs 也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。
- xargs 默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。
实例
定义一个测试文件，内有多行文本数据：
$ cat test.txt
a b c d e f g
h i j k l m n
o p q
r s t
u v w x y z
多行输入单行输出：
$ cat test.txt | xargs
a b c d e f g h i j k l m n o p q r s t u v w x y z
-n 选项单行转多行
$ echo "a b c d e f g h i j k l m n o p q r s t u v w x y z" | xargs -n2
a b
c d
e f
g h
i j
k l
m n
o p
q r
s t
u v
w x
y z
# -n num 后面加次数，表示命令在执行的时候一次要使用几个参数的意思，默认是用所有的。
-d 选项可以自定义一个分隔符
$ echo "abcXabcXabcX" | xargs -dX
abc abc abc
# 结合-n使用
echo "abcXabcXabcX" | xargs -dX -n1
abc
abc
abc
补充Perl正则
$ echo "Hello, my name is aming."|grep -oP '(?<=Hello, ).*(?= aming.)'
my name is
说明
这意思是，-P 可以让grep使用perl的正则表达式语法，因为perl的正则更加多元化，能实现更加复杂的场景。
网友评论