Shell工具 【超重点】

cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1.基本用法
cut [选项参数] filename
说明：默认分隔符是制表符

2.选项参数说明（常用）
选项参数 功能
-f 列号，提取第几列
-d 分隔符，按照指定分隔符分割列

3.案例实操

[root@master shell]# cat cu.txt 
dong shen
guan zhen
wo  wo
lai  lai
le  le
[root@master shell]# cut -d " " -f 1 cu.txt      //取出第一列，按空格分
dong
guan
wo
lai
le
[root@master shell]# cut -d " " -f 1,2 cu.txt  //取出第一、列
dong shen
guan zhen
wo 
lai 
le 
[root@master shell]# cat cu.txt | grep guan //取出 guan所在行
guan zhen
[root@master shell]# cat cu.txt | grep guan | cut -d " " -f 1  //取出guan
guan

选取系统PATH变量值，分别切出第2个“：”开始后和之前的所有路径

Snipaste_2020-06-03_10-31-55.png

切割ifconfig 后打印的IP地址
先限定在“eth0”范围；再选定为“inet addr”行；选定行以“：”为分隔符进行切分，并选出第二列；再以“ ”为分隔符，并选定第一列

Snipaste_2020-06-03_10-35-05.png

sed 先缓存再处理

Snipaste_2020-06-03_15-05-58.png

[root@master shell]# cat sed.txt 
dong shen
guan zhen
wo  wo
lai  lai

le  le
[root@master shell]# sed "2a mei nv" sed.txt //将“mei nv”这个单词插入到sed.txt第二行下，打印
dong shen
guan zhen
mei nv
wo  wo
lai  lai

le  le
[root@master shell]# cat sed.txt       //并不会改变源文件
dong shen
guan zhen
wo  wo
lai  lai

le  le
[root@master shell]# sed "/wo/d" sed.txt     //删除sed.txt文件所有包含wo的行
dong shen
guan zhen
lai  lai

le  le
[root@master shell]# sed "s/wo/ni/g" sed.txt     //删除sed.txt文件所有包含wo的行；‘g’表示global，全部替换
dong shen
guan zhen
ni  ni
lai  lai

le  le
[root@master shell]# sed -e "2d" -e "s/wo/ni/g" sed.txt //将sed.txt文件中的第二行删除并将wo替换为ni
dong shen
ni  ni
lai  lai

le  le

awk 重点

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。

1. 基本用法
   awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ filename
   pattern：表示AWK在数据中查找的内容，就是匹配模式
   action：在找到匹配内容时所执行的一系列命令

2. 选项参数说明
   选项参数 功能
   -F 指定输入文件折分隔符
   -v 赋值一个用户定义变量

3. 案例实操

（1）搜索passwd文件以root关键字开头的所有行，并输出该行的第7列;
"-F ：" 以"："进行分割，"^root"行开头，的第7列 ，文件名

[root@master shell]# awk -F : '/^root/ {print $7}' passwd 
/bin/bash

（2）搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“%”号分割

[root@master shell]# awk -F : '/^root/ {print $1,$7}' passwd 
root /bin/bash
[root@master shell]# awk -F : '/^root/ {print $1"%",$7}' passwd 
root% /bin/bash

（3）只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell在最后一行添加"long, bin/love"。
BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行

Snipaste_2020-06-03_12-59-54.png

（4）将passwd文件中的用户id增加数值1并输出

Snipaste_2020-06-03_13-03-04.png

4. awk的内置变量
   变量 说明
   FILENAME 文件名
   NR 已读的记录数
   NF 浏览记录的域的个数（切割后，列的个数）
5. 案例实操
   （1）统计passwd文件名，每行的行号，每行的列数

[root@master shell]# awk -F : '{print FILENAME"," NR"," NF}' passwd 
passwd,1,7
passwd,2,7
passwd,3,7
passwd,4,7
passwd,5,7
passwd,6,7
passwd,7,7
passwd,8,7
passwd,9,7
passwd,10,7
passwd,11,7
passwd,12,7
passwd,13,7
passwd,14,7

（2）切割IP

[root@master shell]# ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:2B:B8:C5  
          inet addr:192.168.31.160  Bcast:192.168.31.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe2b:b8c5/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:22066 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3851 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:5485323 (5.2 MiB)  TX bytes:594835 (580.8 KiB)
[root@master shell]# ifconfig eth0 | grep "inet addr"
          inet addr:192.168.31.160  Bcast:192.168.31.255  Mask:255.255.255.0
[root@master shell]# ifconfig eth0 | grep "inet addr" |awk -F : '{print $2}'
192.168.31.160  Bcast
[root@master shell]# ifconfig eth0 | grep "inet addr" |awk -F : '{print $2}' | awk -F " " '{print $1}'
192.168.31.160

（3）查询sed.txt中空行所在的行号

[root@master shell]# awk '/^$/ {print NR}' sed.txt  // "/^s/"指空行
5
7

sort

Snipaste_2020-06-03_15-25-36.png

2. 案例实操

[root@master shell]# cat sort.sh 
bb:40:5.4
bd:20:4.2
xz:50:2.3
cls:10:3.5
ss:30:1.6
[root@master shell]# sort -t : -nrk 2 sort.sh   *按照“：”分割后的第二列倒序排序
xz:50:2.3
bb:40:5.4
ss:30:1.6
bd:20:4.2
cls:10:3.5

综合练习

1.使用Linux命令计算第二列的和并输出

[root@master shell]# cat cheng.txt 
mike 40
huhau 90
liu 20
[root@master shell]# cat cheng.txt | awk -F " " '{sum+=$2} END{print sum}'
150

2.Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#!/bin/bash

if [ -e file.txt ]; then
   echo "文件存在!"
else
   echo "文件不存在!"
fi

3.用shell写一个脚本，对文本中无序的一列数字排序，并求和

root@master shell]# cat test.txt 
9
8
7
6
5
4
3
1
10
1
[root@master shell]# sort -n test.txt 
1
1
3
4
5
6
7
8
9
10
[root@master shell]# cat test.txt | awk '{sum+=$1;print$1} END{print "sum="sum}'
9
8
7
6
5
4
3
1
10
1
sum=54

4.请用shell脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符”shen”的文件名称

[root@master shell]# grep -r "shen" ./
./sed.txt:dong shen
./cu.txt:dong shen
[root@master shell]# grep -r "shen" ./ | cut -d ":" -f 1
./sed.txt
./cu.txt