一. 三剑客-基础部分题目

涉及到三剑客过滤,替换,取列操作

1. 选择

在给定文件中查找与条件相符字符串的命令及查找某个目录下相应文件的命令为：（多选）A C

A:grep 筛选
B:gzip
C:find  查找目录下文件

sort在给定文件中查找(筛选)与 设定条件相符字符串的命令为（A）

A：grep
B：gzip
C：find
D：sort

___D____命令可以从文本文件的每一行中截取指定内容的数据。

A：cp
B：dd
C：fmt
D：cut (剪切)

下面表述错误的是D

^表示开头，如^abc表示以abc开头的
$表示结尾如abc$表示以abc为结尾的
？表示前一个字符出现0或1次，如ab？c表示a与c之间可有0或1个b存在
+ 表示前一个字符出现0或多次。如ab+c表示a与c之间可有0或多个b存在

2. 填空
   Unix中在当前目录下所有.cc 的文件中找到含有“oldboy”内容的文件，命令为___

find -type f -name '*.cc'|xargs grep 'asiainfo'
find -type f -name '*.cc' -exec grep 'asiainfo' {} \;
grep 'asiainfo' \`find . -type f -name '*.cc'`

如果没有指定扩展名则直接使用
grep -rl 'oldboy' ./*
-r 递归查询
-l  (小写字母L)只显示grep查找出来的文件

使用AWK指定分隔符的参数是___-F或-vFS=____

找出当前目录下包含127.0.0.1关键字的文件？

1.
grep '127.0.0.1' `find . -type f `
2.三剑客+反引号
sed -n '/127.0.0.1/p' `find . -type f`
awk '/127.0.0.1/' `find . -type f`
3.find+|xargs+三剑客
find . -type f|xargs grep '127.0.0.1'
find . -type f|xargs sed -n '/127.0.0.1/p'
find . -type f|xargs awk '/127.0.0.1/'
4.find -exec +三剑客
find .-type f -exec grep '127.0.0.1' {} \;
find .-type f -exec sed -n '/127.0.0.1/p' {} \;
find .-type f -exec awk '/127.0.0.1/' {} \;

删除/显示1.txt文件第3行到第10行的内容？

删除:
sed -n '3,10p' 1.txt
sed -i '3,10d' 1.txt 
awk '(NR>=3&&NR<=10)' 1.txt  \\把第三行到第十行排除
awk '(NR<3||NR>10)' oldboy.txt \\ 小于第三行或者大于十行

显示:
sed -n '3,10p' 1.txt
awk 'NR==3,NR==7' 1.txt
awk 'NR>=3 && NR<=10' 1.txt
head -10 num.txt|tail -8

使用awk取出/etc/passwd第一列数据也就是取出用户名。

基础必备：
awk -F: '{print $1}' /etc/passwd
sed 's#:.*$##g' /etc/passwd
egrep -o '^[0-Z_-]+' /etc/passwd  \\[0-Z]==[a-zA-Z0-9]

提高：
egrep -o '^[^:]+' /etc/passwd
sed -r 's#(^[^:]+).*$#\1#g' /etc/passwd
awk '{gsub(/:.*$/,"");print}' /etc/passwd  
\\print 在 awk 中后面什么都不加表示 print $0
awk '{gsub(/:.*$/,"")}1' /etc/passwd

用命令行更改config.txt文件，把里面所有的“name”更改为“address”

sed 's#name#address#g' config.txt
awk '{gsub(/name/,"address")}1'  config.txt

利用vi/vim也可以替换：
:%s#name#address#g

写出查询file.txt以abc结尾的行

grep  'abc$' file.txt
sed -n ‘/abc$/p’ file.txt
awk '/abc$/' file.txt

删除file.txt文件中的空行

模拟环境:
echo -e 'oldboy\noldboy\n\nalex\n \nalex\lidao lidao alex\n 
oldboy\n\noldboyedu group 598972270' >file.txt

仅删除文件中的空行：
grep -v '^$' file.txt
sed  '/^$/d' file.txt
awk '!/^$/' file.txt

文件中的空行可能是只有空格的行
egrep -v '$| +$' file.txt
grep -v '^ *$' file.txt
sed -n '/^ *$/p' file.txt
awk '/^ *$/' file.txt

^ *$ 表示两种情况:
*表示前1个字符出现0次的时候:^$
*表示前1个字符出现1次及1次以上的时候:^ +$

打印file.txt文件中的第10行

sed -n '10p' 4.txt
awk 'NR==10' 4.txt 
head -10 file.txt|tail -1

删除/etc/fstab文件中所有以#开头的行，行首的#号及#后面的所有空白字符

空白字符：空格,多个空格,tab键

sed -r '/^#/s#\# *##g' /etc/fstab|cat -A \\查看一下行尾是否还有空白行
awk 'gsub (/^\# */,"");{print $1}' /etc/fstab|cat -A

此题可以分为两个题目:
1. 删除/etc/fstab 文件中所有以#开头的行的行首的# 号及#后面的所有空白字符
2. 删除/etc/fstab 文件中所有以#开头的行的行首的#号及#后面的连续的空白字符

可以分为两步:哪个是条件，哪个是动作
❑第 1 步找出以#开头的行
awk '/^#/{gsub(/^#|[ \t]+/,"")}1' /etc/fstab 
sed -r '/^#/s@^#|[ \t]+@@g' /etc/fstab

❑第 2 步在删除这一行中的空白字符和行首的井号
删除/etc/fstab 文件中所有以#开头的行的行首的# 号及#后面的连续的空白字符
 awk '{gsub(/^#[ \t]+/,"")}1' /etc/fstab
 sed -r 's@^#[ \t]+@@g' /etc/fstab

查找最后修改时间是3天前，后缀是*.log的文件并删除

find /tmp/ -type f -mtime +3 -name '*.log' |xargs  rm -f

find /tmp/ -type f -mtime +3 -name '*.log' -exec rm -f {} \;

\rm -rf `find /tmp/ -type f -mtime +3 -name '*.log' `

find /tmp/ -type f -mtime +3 -name '*.log' -exec rm {} +

find /oldboy -mtime +3 -type f -name "*.log" -delete  \\ -delete删除

\\  \; -exec find 命令找出 1 个文件就把文件放在{}的位置
\\  +;如果-exec后面使用+ find会把前面找到的所有文件1次性的放在{}所在位置

查找文件中1到20行之间，同时将"aaa"替换为"AAA","ddd"替换"DDD"

sed -ne 's#a#A#g;s#d#D#g;1,20p' 2.txt 

sed '1,20y/ad/AD/' 2.txt   \\ y类似于tr的 1对1 替换 不能使用 a-z A-Z 范围

sed 's#[ad]#\U&#g' 2.txt  \\

tr 'ad' 'AD' <2.txt 

awk '{gsub(/a/,"A");gsub(/d/,"D");print}' 2.txt

awk 'NR>=1&&NR<=20{print toupper($0)}' 2.txt

awk 'NR==1,NR==20{print toupper($0)}' 2.txt

使用sed命令打印出文件的第一行到第三行

head -3  lidao.txt 

sed -n '1,3p'  lidao.txt 

awk 'NR>=1&&NR<=3' lidao.txt 

awk 'NR==1;NR==2;NR==3' lidao.txt

在/var/sync/log/cef_watchd-20080424.1og文件中查找大小写不敏感“mysql"字符串中的命令是

grep -iw 'mysql' /var/sync/log/cef_watchd-20080424.1og

sed -nr '/(mysql|MYSQL)/p' /var/sync/log/cef_watchd-20080424.1og

sed -nr '/(mysql|MYSQL)/Ip' /var/sync/log/cef_watchd-20080424.1og  \\sed中 I表示不区分大小写,极少用

awk -vIGNORECASE=1 '/[a-z]/' /var/sync/log/cefwatchd-20080424.log

为了在/var/sync/log 目录中查找更改时间在5日以前的文件井删除它们，linux命令是

find /var/sync/log  -type f -mtime +5 |xargs  rm -rf

find /var/sync/log  -type f -mtime +5 -exec rm -rf {} \;

rm -rf `find /var/sync/log  -type f -mtime +5`

把data目录及其子目录下所有以扩展名.txt结尾的文件中包含oldgirl的字符串全部替换为oldboy.

sed -i 's#oldgirl#oldboy#g' `find /data/ -type f -name '*.txt'`

find /data/ -type f -name '*.txt'|xargs sed -ni 's#oldboy#oldgirl#gp'

写出删除abc.txt文件中的空行

sed '/^$/d' abc.txt
sed -n '/^$/!p' 1.txt
grep -v '^$' 1.txt 

查看linux服务器ip的命令，同时只显示包含ip所在的行打印出来

ip a s eth0|sed -n '3p'|sed -r 's#^.*t ([0-9].*)/.*$#\1#g'  #sed多管道
ip a s eth0|sed -nr '3s#^.*t (.*)/.*$#\1#gp'  #用sed
ip a s eth0|awk -F'[/ ]+' 'NR==3{print $3}'   #用awk
ip a s eth0|sed -n '3p'|awk -F'[ /]+' '{print$3}'  #sed+awk
ip a s eth0|awk 'NR==3'|sed -r 's#^.*t (.*)/.*$#\1#g'  #awk+sed
ip a s eth0|grep  'inet '|sed -r 's#^.*t (.*)/.*#\1#g'  #grep+sed
ip a s eth0|grep  'inet '|awk -F'[ /]+' '{print $3}'  #grep+awk

用awk获取文件中第三行的倒数第二列字段

awk 'NR==3{print $(NF-1)}' 2.txt

有文件file1
请用shell查询file1里面空行的所在行号

grep -n '^$' file1.txt

awk '/^$/{print NR,$0}' file1.txt

sed -n '/^$/{=;p}' file.txt|sed 'N;s#\n# #g'

查询file1以abc结尾的行

grep  'abc$' file.txt
sed -n ‘/abc$/p’ file.txt
awk '/abc$/' file.txt

打印file文件第一行到第三行

head -3  lidao.txt 
sed -n '1,3p'  lidao.txt 
awk 'NR>=1&&NR<=3' lidao.txt 
awk 'NR==1;NR==2;NR==3' lidao.txt

显示file文件里匹配foo字串那行以及上下5行、显示foo及前5行、显示foo及后5行

grep -A5 'foo'  file.txt
grep -B5 'foo'  file.txt
grep -C5 'foo'  file.txt

echo "ABCDEF abtdefg" |sed -i s/c/t/g 这条命令是否正确？如若正确可能会显示什么样的结果？

不正确
-i 修改文件内容
no input files 
sed 无法找到要修改的文件

当前系统中没有任何文本编辑器（vi,emacs,vim,edit等），如何过滤掉注释行和空行查看/etc/ssh/sshd_config文件

sed -r '/^#|^$/d' /etc/ssh/sshd_config
sed -nr '/^$|^#/!p' /etc/ssh/sshd_config 
awk '!/^$|^#/' /etc/ssh/sshd_config 
grep  '^[a-Z]' /etc/ssh/sshd_config 
egrep -v '^$|^#' /etc/ssh/sshd_config 

查找file.log文件中的包含关键字“helloworld”的内容，及其上下两行的内容重定向保存到1.txt。请写出命令

grep -C2  'helloworld' file.log >> 5.txt

二. 进阶题目:
需要用到awk数组和函数知识点

利用sed命令将test.txt中所有的回车替换成空格？

模拟环境：
echo -e 'oldboy\noldboy\n\nalex\n \nalex\lidao lidao alex\n oldboy\n\noldboyedu group 598972270' >file.txt

仅删除文件中的空行
grep -v '^$' file.txt
sed '/^$/d' file.txt
awk '!/^$/' file.txt

文件中的空行可能是只有空格的行
egrep -v '$| +$' file.txt
grep -v '^ *$' file.txt
sed -n '/^ *$/p' file.txt
awk '/^ *$/' file.txt

^ *$ 表示两种情况:
表示前1个字符出现0次的时候:^$
表示前1个字符出现1次及1次以上的时候:^ +$

从a.log文件中提取包含“WARNING”或“FATAL”，同时不包含“IGNOR”行，然后，提取以“：”分割的第五个字段

awk -F:  '/WARNING|FATAL/&&!/IGNOR/{print $5}'

找出ifconfig命令结果中的1-255之间的数值；

net-tools
ifconfig| egrep -o '[0-9]+'|awk '$0>=1 && $0<=255'

文件内容排序、文件行取唯一值的命令分别是？

sort 
uniq

用awk获取文件中第三行的倒数第二列字段

awk 'NR==3{print $(NF-1)}' file.txt

awk是一个很强大的文本处理工具，请使用awk统计当前主机的并发访问量

netstat -ant | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'

三. 老牛逼题目 15k+

有一个文件nginx.log，请用awk提取时间（HH:MM）,文件内容如下：
183.250.220.178|-l[20/jul/2017:10:35:14 +0800]|POST /audiosearch/search
HTTP/1.1|200|54|-lDalvik/1.6.0（linux;U;Android 4,4,4;Konka Android TV 638
Build/KTU84P）|-l-[5.069|5.001,0.005|www.kuyun.com|8771|172.21.19.67:8084,172.21.19.66:8084]
183.250.220.178|-l[20/jul/2017:10:35:14 +0800]|POST /audiosearch/search
HTTP/1.1|200|54|-lDalvik/1.6.0（linux;U;Android 4,4,4;Konka Android TV 638
Build/KTU84P）|-l-[5.069|5.001,0.005|www.kuyun.com|8771|172.21.19.67:8084,172.21.19.66:8084]

统计apache访问日志流量排名前10个IP

统计出apache的access.log 中访问最多的5个ip
awk '{h[$1]++}END{for(po in h) print po,h[po]}' access.log |awk '{print 1}' |sort -rn|head -5 sort -rn 以相反的顺序依照数值大小排序

这条linux命令的含义：netstat -n |awk '/^tcp/ {++} print a,${a} }'
该命令执行不了

使用awk分析日志（最后一个字段是IP，统计访问量前十的IP，并进行排序）

awk -F: '/WARNING|FATAL/&& !/IGNOR/{print \$5}' a.log