sed

作用

• sed(stream editor)命令是利用script来处理文本文件。即依照script的指令，来处理、编辑文本文件
• sed 命令使用两个工作空间来保留修改的行：保留选定行的模式空间和暂时存储行的保留空间。
• 它是一种流编辑器，能够完美的配合正则表达式使用，功能不同凡响。
  处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。（awk grep基本此原理）
• Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

sed命令在mac环境下，与linux有点不一样：
1 需要在sed编辑命令后面加上''"引号（备份）如：
sed -i "" 's/line/Big/g' sed.txt

语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

• 参数说明：
  -e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。
  -f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
  -h或--help 显示帮助。
  -n或--quiet或--silent 仅显示script处理后的结果。
  -V或--version 显示版本信息。

• 动作说明：
  a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
  i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
  s ：取代，可以直接进行取代的工作！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

实例

用s命令替换

$ sed "s/my/Hao Chen's/g" pets.txt

注意：如果你要使用单引号，那么你没办法通过\’这样来转义，就有双引号就可以了，在双引号内可以用\”来转义。

再注意：上面的sed并没有对文件的内容改变，只是把处理过后的内容输出，如果你要写回文件，你可以使用重定向，如：

$ sed "s/my/Hao Chen's/g" pets.txt > hao_pets.txt

或使用 -i 参数直接修改文件内容：
linux:
sed -i "s/my/Hao Chen's/g" pets.txt
Mac:
sed -i "" 's/line/Big/g' sed.txt

在每一行最前面加点东西
$ sed 's/^/#/g' pets.txt
在每一行最后面加点东西：
$ sed 's/$/ --- /g' pets.txt

比如我们要去掉某html中的tags
<b>This</b> is what <span style="text-decoration: underline;">I</span>meant. Understand?

如果你这样搞的话，就会有问题
$ sed 's/<.*>//g' html.txt
 Understand?
 
要解决上面的那个问题，就得像下面这样。
其中的'[^>]' 指定了除了>的字符重复0次或多次。
$ sed 's/<[^>]*>//g' html.txt
This is what I meant. Understand?

替换指定行
sed "3s/my/your/g" pets.txt
sed "3,6s/my/your/g" pets.txt

替换每一行的第n个词
sed 's/wnew/wold/n' my.txt

---------------多个匹配
如果我们需要一次替换多个模式，可参看下面的示例：（第一个模式把第一行到第三行的my替换成your，第二个则把第3行以后的This替换成了That）
sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt

sed 's/my/[&]/g' my.txt


--------------圆括号匹配
使用圆括号匹配的示例：（圆括号括起来的正则表达式所匹配的字符串会可以当成变量来使用，sed中使用的是\1,\2…）
如有文本：
This is [my] cat, [my] cat's name is betty
This is [my] dog, [my] dog's name is frank
This is [my] fish, [my] fish's name is george
This is [my] goat, [my] goat's name is adam

$ sed 's/This is my \([^,&]*\),.*is \(.*\)/\1:\2/g' my.txt
cat:betty
dog:frank
fish:george
goat:adam

上例子去掉转义字符
正则为：This is my ([^,]*),.*is (.*)
匹配为：This is my (cat),……….is (betty)

然后：\1就是cat，\2就是betty

-----------N命令
先来看N命令 —— 把下一行的内容纳入当成缓冲区做匹配。

下面的的示例会把原文本中的偶数行纳入奇数行匹配，而s只匹配并替换一次，所以，就成了下面的结果：


-----------a命令和i命令
a命令就是append，在指定行之后追加
 i命令就是insert，在指定行之前插入
如：
其中的1i表明，其要在第1行前插入一行（insert）
sed "1 i This is my monkey, my monkey's name is wukong" my.txt

!!!Mac下插入一行
$ sed -i '.bak' '1i\
hello
' file  

--------------c命令
c 命令是替换匹配行
sed "2 c This is my monkey, my monkey's name is wukong" my.txt

!!!Mac
sed -i "" '1c\
convert line
' sed.tx

-------------d命令
删除匹配行
sed '/fish/d' my.txt
sed '2d' my.txt

正则表达式的一些最基本的东西：

• ^ 表示一行的开头。如：/^#/ 以#开头的匹配。
• $ 表示一行的结尾。如：/}$/ 以}结尾的匹配。
• < 表示词首。 如：<abc 表示以 abc 为首的词。
• > 表示词尾。 如：abc> 表示以 abc 结尾的词。
• . 表示任何单个字符。
• * 表示某个字符出现了0次或多次。
• [ ] 字符集合。 如：[abc] 表示匹配a或b或c，还有 [a-zA-Z] 表示匹配所有的26个字符。如果其中有^表示反，如 [^a] 表示非a的字符

Pattern Space

sed处理文本的伪代码，并了解一下Pattern Space的概念：

foreach line in file {
    //放入把行Pattern_Space
    Pattern_Space <= line;
 
    // 对每个pattern space执行sed命令
    Pattern_Space <= EXEC(sed_cmd, Pattern_Space);
 
    // 如果没有指定 -n 则输出处理后的Pattern_Space
    if (sed option hasn't "-n")  {
       print Pattern_Space
    }
}

Address

几乎上述所有的命令都是这样的（注：其中的!表示匹配成功后是否执行命令）

[address[,address]][!]{cmd}

address可以是一个数字，也可以是一个模式，你可以通过逗号要分隔两个address 表示两个address的区间，参执行命令cmd，伪代码如下

bool bexec = false
foreach line in file {
    if ( match(address1) ){
        bexec = true;
    }
 
    if ( bexec == true) {
        EXEC(sed_cmd);
    }
 
    if ( match (address2) ) {
        bexec = false;
    }
}

如：
其中的+3表示后面连续3行
$ sed '/dog/,+3s/^/# /g' pets.txt

This is my cat
  my cat's name is betty
# This is my dog
#   my dog's name is frank
# This is my fish
#   my fish's name is george
This is my goat
  my goat's name is adam

命令打包

第二个是cmd可以是多个，它们可以用分号分开，可以用大括号括起来作为嵌套命令。下面是几个例子

$ cat pets.txt
This is my cat
  my cat's name is betty
This is my dog
  my dog's name is frank
This is my fish
  my fish's name is george
This is my goat
  my goat's name is adam
 
# 对3行到第6行，执行命令/This/d
$ sed '3,6 {/This/d}' pets.txt
This is my cat
  my cat's name is betty
  my dog's name is frank
  my fish's name is george
This is my goat
  my goat's name is adam
 
# 对3行到第6行，匹配/This/成功后，再匹配/fish/，成功后执行d命令
$ sed '3,6 {/This/{/fish/d}}' pets.txt
This is my cat
  my cat's name is betty
This is my dog
  my dog's name is frank
  my fish's name is george
This is my goat
  my goat's name is adam
 
# 从第一行到最后一行，如果匹配到This，则删除之；如果前面有空格，则去除空格
$ sed '1,${/This/d;s/^ *//g}' pets.txt
my cat's name is betty
my dog's name is frank
my fish's name is george
my goat's name is adam

Hold Space

第三个我们再来看一下 Hold Space

接下来，我们需要了解一下Hold Space的概念，我们先来看四个命令：

g： 将hold space中的内容拷贝到pattern space中，原来pattern space里的内容清除
G： 将hold space中的内容append到pattern space\n后
h： 将pattern space中的内容拷贝到hold space中，原来的hold space里的内容被清除
H： 将pattern space中的内容append到hold space\n后
x： 交换pattern space和hold space的内容

这些命令有什么用？我们来看两个示例吧，用到的示例文件是：

$ cat t.txt
one
two
three

Ref:
http://www.runoob.com/linux/linux-comm-sed.html
http://man.linuxde.net/sed
https://coolshell.cn/articles/9104.html