awk、sed、grep-linux

grep

1.查看ip1.txt文件中包含48080的行数有多少行

grep -c '48080' ip1.txt 

2.查看ip1.txt文件中包含48080的对应的行数是什么

grep -n '48080' ip1.txt 

3.查看ip1.txt文件中不包含48080的对应的行数是什么

grep -vn '48080' ip1.txt 

4.使用正则表达式以192开头的行数

grep -En '^192' ip1.txt | wc -l

5.使用正则表达式以48080结尾的对应行

grep -En '48080$' ip1.txt

sed

命令格式

sed [options] 'command' file(s) 
sed [options] -f scriptfile file(s)

sed命令有sed部分命令在unix中与linux中使用方式不一样

a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。 
c\ 把选定的行改为新的文本。 
d 删除，删除选择的行。 
D 删除模板块的第一行。 
s 替换指定字符 
h 拷贝模板块的内容到内存中的缓冲区。 
H 追加模板块的内容到内存中的缓冲区。 
g 获得内存缓冲区的内容，并替代当前模板块中的文本。 
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。 
l 列表不能打印字符的清单。 
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。 
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。 
p 打印模板块的行。 
P(大写) 打印模板块的第一行。 
q 退出Sed。 
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。 
r file 从file中读行。 
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。 
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。 
w file 写并追加模板块到file末尾。 
W file 写并追加模板块的第一行到file末尾。 
! 表示后面的命令对所有没有被选定的行发生作用。
= 打印当前行号码。 
# 把注释扩展到下一个换行符以前。 

sed替换标记

g 表示行内全面替换。 
p 表示打印行。 
w 表示把行写入一个文件。 
x 表示互换模板块中的文本和缓冲区中的文本。 
y 表示把一个字符翻译为另外的字符（但是不用于正则表达式） 
\1 子串匹配标记 
& 已匹配字符串标记

sed元字符集

^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。 
$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。 
. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。 
* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。 
[] 匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。 
[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。 
\(..\) 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。 
& 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。 
\< 匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。
x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。 
x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。 
x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

1.将文本中的book替换为books,每行只替换一次

sed 's/book/books/' file

2.-n选项和p命令一起使用表示只打印那些发生替换的行每行只替换一次

sed -n 's/test/TEST/p' file

3.使用后缀 /g 标记会替换每一行中的所有匹配

sed 's/book/books/g' file
定界符出现在样式内部时，需要进行转义： sed 's/\/bin/\/usr\/local\/bin/g' file

4.删除命令d

删除空白行:  sed '/^$/d' ip1.txt
删除文件的第2行:  sed '2d' file
删除文件的第2行到末尾所有行:  sed '2,$d' file
删除文件中所有开头是test的行:  sed '/^test/'d file
删除文件的第2到第4行(包括2行和4行): sed '2,4d' ip1.txt

5.正则表达式 \w+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词：

echo this is a test line | sed 's/\w\+/[&]/g' 
[this] [is] [a] [test] [line]

6.匹配给定样式的其中一部分：

echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/' 
this is 7 in a number 命令中 digit 7，被替换成了 7。
样式匹配到的子串是 7，\(..\) 用于匹配子串，对于匹配到的第一个子串就标记为 \1，依此类推匹配到的第二个结果就是 \2

7.文件操作
file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面：

sed '/test/r file' filename

在example中所有包含test的行都被写入file里：

sed -n '/test/w file' example

将 this is a test line 追加到 以test 开头的行后面：

sed '/^test/a\this is a test line' file

在 test.conf 文件第2行之后插入 this is a test line：

sed -i '2a\this is a test line' test.conf

将 this is a test line 追加到以test开头的行前面：

sed '/^test/i\this is a test line' file

在test.conf文件第5行之前插入this is a test line：

sed -i '5i\this is a test line' test.conf

8.把1~10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令：

sed '1,10y/abcde/ABCDE/' file