shell三剑客

awk、grep、sed是linux操作文本的三大利器，合称文本三剑客，也是必须掌握的linux命令之一。

正则表达式

POSIX正则表达式分为基本正则表达式（BRE）和扩展表达式（ERE）。

• 支持的命令

类型	grep	sed	vi	more	egrep	awk
BRE	√	√	√	√
ERE					√	√

• BRE 和ERE区别

字符	意义	支持的类型
\	将下一个字符标记为特殊字符，或者将一个元字符转义为普通字符。如n加上\匹配一个换行符。\则匹配一个\字符。	BOTH
^	匹配输入字符串的开始位置	BOTH
$	匹配输入字符串的结束位置	BOTH
*	匹配前面的子表达式0次或者多次，如zo*能匹配z和zoo	BOTH
？	匹配前面的子表达式0次或者1次	ERE
.	匹配除\n之外的任何单个字符	BOTH
+	匹配前面的子表达式1次或者多次，如zo+能匹配zo和zoo，但不能匹配z	ERE
|	匹配于|符号前或后的正则表达式	ERE
{n,m}	最少匹配n次，最多匹配m次和BRE的区别是不需要加\	ERE
\{n\}	匹配前面的子表达式n次	BRE
\{n,\}	至少匹配前面的子表达式n次	BRE
\{n,m\}	最少匹配n次，最多匹配m次	BRE
\(\)	将(与)间的模式存储在特殊的保留空间	BRE
\digit	重复在(与)方括号内第n个子模式至此点的模式	BRE
[xyz]	匹配xyz中的任何一个字符	BOTH
[^xyz]	匹配未包含的任意字符	BOTH
[x-z]	匹配小写的字符	BOTH

GREP

grep 命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是 Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

命令的基本格式：grep [option] pattern file
option如下：

• -A<行数 x>：除了显示符合范本样式的那一列之外，并显示该行之后的 x 行内容。
  grep -A2 "george" pets.txt
• -B<行数 x>：除了显示符合样式的那一行之外，并显示该行之前的 x 行内容。
  grep -B2 "george" pets.txt
• -C<行数 x>：除了显示符合样式的那一行之外，并显示该行之前后的 x 行内容。
  grep -C2 "george" pets.txt
• -c：统计匹配的行数
  grep -c "name" pets.txt
• -e ：实现多个选项间的逻辑or 关系
  grep -e "betty" -e "frank" pets.txt
grep -c -e "betty" -e "frank" pets.txt
• -E：扩展的正则表达式
  grep -E "[a-z]{4,}'s" pets.txt
grep "[a-z]\{4,\}'s" pets.txt
• -f 文件名：从文件获取 PATTERN 匹配
  echo frank > patten.txt
grep -nf patten.txt pets.txt
• -F ：相当于fgrep
  grep -F相当于fgrep命令，就是将pattern视为固定字符串。比如搜索'aa*'不带-F和带上，区别如下：
  echo aaaa | grep "aa*"
echo aaaa | grep -F "aa*"
echo aa* | grep -F "aa*"
• -i --ignore-case #忽略字符大小写的差别。
  grep -i "Frank" pets.txt
• -n：显示匹配的行号
  grep -in "dog" pets.txt
• -o：仅显示匹配到的字符串
  grep -o "dog" pets.txt
• -q： 静默模式，不输出任何信息
  多用于shell脚本中，做if判断
• -s：不显示错误信息。
• -v：显示不被 pattern 匹配到的行，相当于[^] 反向匹配
  grep -v "dog" pets.txt
• -w ：匹配 整个单词
  grep "do" pets
grep -w "do" pets.txt

AWK

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。对于日志、CSV 那样的每行格式相同的文本文件，awk可能是最方便的工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

命令的基本格式： *awk '{[pattern] action}' {filenames} *

变量

• $num表示第num列
• NF表示有多少列
• NR表示第几行
  awk '{print NR,$NF}' pets.txt

分隔符

• FS：字段分隔符，默认是空格和制表符。
• RS：行分隔符，用于分割每一行，默认是换行符。
• OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。
• ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。
• OFMT：数字输出的格式，默认为％.6g。

echo a-b-c| awk -v OFS="/" -F "-" '{print NR,$NF}'
echo a,b,c,d#e,f,g,h | awk -v RS="#" -v OFS="/" -v ORS="," -F "," '{print $1,$2}' Desktop/test.txt

参数

• -v 变量替换
• -F 指定字段分隔符

模式

• NR 判断
  awk 'NR%2 ==0 {print $5}' pets.txt
• 正则判断
  awk '/This/{print $4}' pets.txt
• if 判断
  echo -e "12345ms\n4ms" | egrep -o "[0-9]+" | awk '{if(int($1) > 222) print $1; else print "----"}'
• 函数
  tolower()：字符转为小写。
  length()：返回字符串长度。
  substr()：返回子字符串。
  sin()：正弦。
  cos()：余弦。
  sqrt()：平方根。
  rand()：随机数。
  https://www.gnu.org/software/gawk/manual/html_node/Built_002din.html#Built_002din

SED

sed 命令的作用是利用脚本来处理文本文件。sed全名叫stream editor，流编辑器，用程序的方式来编辑文本。

命令的基本格式： sed [-hnV][-e<script>][-f<script文件>][文本文件]

参数说明：

• -e<script>或--expression=<script> 以选项中指定的 script 来处理输入的文本文件，这个-e可以省略，直接写表达式。多个多项编辑。
• -f<script文件>或--file=<script文件>以选项中指定的 script 文件来处理输入的文本文件。
• -n 取消默认输出
• -i 覆盖原文件
• -r使用扩展正则表达式

动作说明：

• a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  奇数行后增加
  echo -e "1\n2\n3\n4\n5" | sed "1~2 a www"
• c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  echo -e "1\n2\n3\n4\n5" | sed "1,2c www"
echo -e "1\n2\n3\n4\n5" | sed -e "1c www" -e "2c bb"
• d：删除，因为是删除，所以 d 后面通常不接任何东西；
  删除注释的行
  echo -e "#todo\ndef s\nputs 'b'\nend" | sed "/^#/d"
• i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  echo -e "1\n2\n3\n4\n5" | sed "1 i aaa"
• p：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
  echo -e "1\n2\n3\n4\n5" | sed -n "1p"
• s：取代，通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 。
  替换每行第一个is 为was：sed 's/is/was/1' pets.txt
  替换每行全部is为was sed 's/is/was/g' pets.txt
  替换偶数行 is为was sed '1~2! s/is/was/g' pets.txt
  覆盖原文件 sed -i '1~2! s/is/was/g' pets.txt