Linux awk和sed的用法

sed工具简介

用法：
sed [-nefri] 动作
参数：
-n：使用安静模式(Silent)模式，一般在sed的 用法中，所有来自STDIN的数据一般都会列在屏幕上。但如果是加上-n参数后，则只有经过sed特殊处理的那一行(或操作)才会被列出来
-e:直接在命令行模式上进行sed的动作编辑
-f:直接将sed的动作写在一个文件内，-f filename则可以执行filename内的sed动作。
-r：sed的动作支持的是扩展型正则表达式的语法(默认是基础正则表达式的语法)
-i:直接修改读取的文件内容，而不是由屏幕输出
动作说明：
[n1 [,n2]] function
n1,n2不见得会存在，一般代表选择进行动作的行数，举例来说，如果我的动作是需要在10到20行之间进行的，则"10,20[动作行为]"

function有以下这些参数:
a:新增，a后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)
c：替换，c后面可以接字符串，这些字符串可以替换n1,n2之间的行
d：删除，因为是删除，所以d后面通常不接任何参数
i:插入，i的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)
p:打印，也就是将某个选择的数据打印出来，通常p会与参数sed -n 一起运行
s:替换，可以直接进行替换的工作，通常这个s的动作可以搭配正则表达式，例如1,20s/old/new/g就是

范例：

范例一：将 /etc/passwd 的内容列出，并且我需要打印行号，同时，请将第 2~5 行删除！
[root@linux ~]# nl /etc/passwd |sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
看到了吧？因为 2-5 行给他删除了，所以显示的数据中，就没有 2-5 行啰～
另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！

范例二：承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[root@linux ~]# nl /etc/passwd |sed '2a drink tea'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
function有以下这些参数:
a:新增，a后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)
c：替换，c后面可以接字符串，这些字符串可以替换n1,n2之间的行
d：删除，因为是删除，所以d后面通常不接任何参数
i:插入，i的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)
p:打印，也就是将某个选择的数据打印出来，通常p会与参数sed -n 一起运行
s:替换，可以直接进行替换的工作，通常这个s的动作可以搭配正则表达式，例如1,20s/old/new/g就是


范例：

>>范例一：将 /etc/passwd 的内容列出，并且我需要打印行号，同时，请将第 2~5 行删除！
[root@linux ~]# nl /etc/passwd |sed '2,5d'
1 root:x:0:0:root:/root:/bin/bash
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
.....(后面省略).....
看到了吧？因为 2-5 行给他删除了，所以显示的数据中，就没有 2-5 行啰～
另外，注意一下，原本应该是要下达 sed -e 才对，没有 -e 也行啦！
同时也要注意的是， sed 后面接的动作，请务必以 '' 两个单引号括住喔！
而，如果只要删除第 2 行，可以使用 nl /etc/passwd | sed '2d' 来达成，
至于第 3 到最后一行，则是 nl /etc/passwd | sed '3,$d' 的啦！



>>范例二：承上题，在第二行后(亦即是加在第三行)加上『drink tea?』字样！
[root@linux ~]# nl /etc/passwd |sed '2a drink tea'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
drink tea
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
嘿嘿！在 a 后面加上的字符串就已将出现在第二行后面啰！那如果是要在第二行前呢？
nl /etc/passwd | sed '2i drink tea' 就对啦！

范例三：在第二行后面加入两行字，例如『Drink tea or .....』『drink beer?』
[root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ......
drink beer ?'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
Drink tea or ......
drink beer ?
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
这个范例的重点是，我们可以新增不只一行喔！可以新增好几行～
但是每一行之间都必须要以反斜线 \ 来进行新行的增加喔！所以，上面的例子中，
我们可以发现在第一行的最后面就有 \ 存在啦！那是一定要的喔！

范例四：我想将第2-5行的内容取代成为『No 2-5 number』呢？
[root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'
1 root:x:0:0:root:/root:/bin/bash
No 2-5 number
6 sync:x:5:0:sync:/sbin:/bin/sync
没有了 2-5 行，嘿嘿嘿嘿！我们要的数据就出现啦！

范例五：仅列出第 5-7 行
[root@linux ~]# nl /etc/passwd | sed -n '5,7p'
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
为什么要加 -n 的参数呢？您可以自行下达 sed '5,7p' 就知道了！(5-7行会重复输出)
有没有加上 -n 的参数时，输出的数据可是差很多的喔！

范例六：我们可以使用 ifconfig 来列出 IP ，若仅要 eth0 的 IP 时？
[root@linux ~]# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 00:51:FD:52:9A:CA
inet addr:192.168.1.12 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
....(以下省略).....
其实，我们要的只是那个 inet addr:..那一行而已，所以啰，利用 grep 与 sed 来捉
[root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.addr://g' |
sed 's/Bcast.$//g'
您可以将每个管线 (|) 的过程都分开来执行，就会晓得原因啰！
去头去尾之后，就会得到我们所需要的 IP 亦即是 192.168.1.12 啰～

        >> 范例七：将 /etc/man.config 档案的内容中，有 MAN 的设定就取出来，但不要说明内容。
                      [root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | \
                      > sed '/^$/d'
                 每一行当中，若有 # 表示该行为批注，但是要注意的是，有时候，
                  批注并不是写在第一个字符，亦即是写在某个指令后方，如底下的模样：
            『shutdown -h now # 这个是关机的指令』，批注 # 就在指令的后方了。
                 因此，我们才会使用到将 #.*$ 这个正规表示法！

        >> 范例八：利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』
                      [root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc
      上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔！而不是由屏幕输出。
          至于那个 $a  则代表最后一行才新增的意思

awk工具

用法：awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk主要是处理每一行的字段内的数据，而默认的字段的分隔符为空格符或[Tab]键

在每一行的每个字段都是有变量名称的，那就是$1,$2等变量名称
$0代表的是一整行数据的意思
整个awk的处理流程是:
1.读入第一行，并将第一行的数据填入$0,$1,$2等变量
2.依据条件类型的限制，判断是否需要进行后面的动作
3.做完所有的动作与条件类型
4.若还有后续的"行"的数据，则重复上面的1~3的步骤，直到所有的数据都读完为止
awk是以行为一次处理的单位，而以字段为最小的处理单位

>变量名称                            代表意义
        NF                            每一行($0)拥有的字段总数
        NR                            目前awk所处理的是"第几行"数据
        FS                            目前的分隔符，默认是空格符

awk的命令形式:
awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file

[-F|-f|-v]:大参数，-F用于指定分隔符，-f调用脚本,-v定义变量var=value
' ':引用代码块
BEGIN:初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//:匹配代码块,可以是字符串或者是正则表达式
{}:命令代码块，包含一条或多条命令
；:多条命令使用分号分割
END:结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

特殊要点:
$0:表示当前行
$1:表示每一行的第一个字段
FNR:与NR类似，不过多文件记录不递增，每个文件都从1开始
FS:BEGIN时定义的分隔符
RS:记录的分隔符,默认为换行符(即文本是按一行一行来读取的)
+：匹配时表示1个或1个以上
/[0-9][0-9]+/：两个或两个以上数字
/[0-9][0-9]*/：一个或一个以上数字
OFS:输出字段分隔符,默认是空格，也可以是制表符等
ORS:输出的记录分隔符,默认为换行符,即处理结果也是按一行一行输出屏幕的

范例

print & $0
print 是awk打印指定内容的主要命令
awk '{print}' /etc/passwd == awk '{print $0}' /etc/passwd
awk '{print " "}' /etc/passwd //不输出passwd的内容，而是输出相同个数的空行，进一步解释了awk是一行一行处理文本
awk '{print "a"}' /etc/passwd //输出相同个数的a行，一行只有一个a字母
awk -F":" '{print $1}' /etc/passwd
awk -F: '{print $1; print $2}' /etc/passwd //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd //输出字段1,3,6，以制表符作为分隔符

-f指定脚本文件
awk -f script.awk file
BEGIN{
FS=":"
}
{print $1} //效果与awk -F":" '{print $1}'相同,只是分隔符使用FS在代码自身中指定

awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test
I find 4 blank lines.
ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'
//计算文件大小
total size is 17487

-F指定分隔符
$1 指指定分隔符后，第一个字段，$3第三个字段， \t是制表符
一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格
awk -F":" '{print $1}' /etc/passwd
awk -F":" '{print $1 $3}' /etc/passwd //$1与$3相连输出，不分隔
awk -F":" '{print $1,$3}' /etc/passwd //多了一个逗号，$1与$3使用空格分隔
awk -F":" '{print $1 " " $3}' /etc/passwd //$1与$3之间手动添加空格分隔
awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd //自定义输出
awk -F: '{print NF}' /etc/passwd //显示每行有多少字段
awk -F: '{print $NF}' /etc/passwd //将每行第NF个字段的值打印出来
awk -F: 'NF==4 {print }' /etc/passwd //显示只有4个字段的行
awk -F: 'NF>2{print $0}' /etc/passwd //显示每行字段数量大于2的行
awk '{print NR,$0}' /etc/passwd //输出每行的行号
awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd //依次打印行号，字段数，最后字段值，制表符，每行内容
awk -F: 'NR==5{print}' /etc/passwd //显示第5行
awk -F: 'NR==5 || NR==6{print}' /etc/passwd //显示第5行和第6行
route -n|awk 'NR!=1{print}' //不显示第一行

//匹配代码块
//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print $0}' /etc/passwd //三条指令结果一样
awk '!/mysql/{print $0}' /etc/passwd //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的行，如27，277，2777...
awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显示
awk -F: '{if($1~/mail/) print $1}' /etc/passwd //与上面相同
awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配
awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd