shell_sed

作者: 凤凤思密达萌萌哒 | 来源:发表于2019-12-29 16:33 被阅读0次

    一、sed工作流程

    
    文本文件             sed的模式空间(缓冲区)
    this is a line ---->this is a line ---> sed的输出(this is a line)
    
    

    sed 是一种在线的、非交互式的编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。

    注意:模式空间的内容和awk中的$0是一样的,处理每行的时候,都会被重新赋值为当前行的内容

    文件内容并没有改变,除非你使用重定向存储输出。
    Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作;编写转换程序等。

    二、命令格式

    准备个文件

    [root@localhost ~]# head /etc/passwd | grep -n '' > mypasswd.txt
    [root@localhost ~]# cat mypasswd.txt 
    1:root:x:0:0:root:/root:/bin/bash
    2:bin:x:1:1:bin:/bin:/sbin/nologin
    3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
    4:adm:x:3:4:adm:/var/adm:/sbin/nologin
    5:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
    6:sync:x:5:0:sync:/sbin:/bin/sync
    7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    8:halt:x:7:0:halt:/sbin:/sbin/halt
    9:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10:operator:x:11:0:operator:/root:/sbin/nologin
    
    
    1、处理单个文件的命令格式
    sed  [options] '[匹配模式]  sed的内部命令'  file1
    
    2、处理多个文件的命令格式
    sed  [options]  '[匹配模式]  [sed 的内部命令]' file1  file2
    

    options 选项是可选的,意思就是没有也行;
    匹配模式是可选的,用于在文件中每一行进行匹配到模式,模式可以是正则,也可以是文件的行号;
    内部的命令也是可选的,但是两个单引号是必须的;

    示例: image.png
    注意:sed和grep不一样,不管是否找到指定的模式,它的退出状态都是0,只有当命令存在语法错误时,sed的退出状态才是0.

    三、支持正则表达式

    与greo一样,sed可使用正则表达式(RE)和各种正则表达式。
    基本元字符: ^ , $ , . ,* ,[] ,[^] ,<, > ,() , {}
    扩展元字符: ?, + ,{ } ,| ,( )

    sed使用的时候,都会加上-r 参数

    sed -r
    

    四、sed基本用法

    打印

    sed 默认会输出文件的每一行,无论这行内容是否能匹配上匹配模式,假如被匹配到的则会再输出一次。

    sed -r '' abc.txt
    sed -r 'p' abc.txt #p是sed的内部命令,打印输出的作用
    sed -rn 'p' abc.txt #屏蔽默认使出使用-n选项
    sed -rn '/root/p'  #显示root的行并输出
    

    搜索替换

    sed会自动打印文件的每一行,同时查找模式匹配的行,找到后执行后面的命令,默认是 p 打印(不加 -n 的情况下)

    #找到含有root的,把第一个替换成shark
    sed -r 's/root/shark' abc.txt 
    
    sed -r 's/root/shark/g' abc.txt #全局替换
    sed -r 's/root/shark/gi' abc.txt 
    #i 是同时忽略大小写
    #找到含有 root 的进行删除
    sed  -r  '/root/d' abc.txt
      
    可以使用不同的 字符 作为界定符号,注意进行转义
    sed  -r  '\#root#d'   abc.txt
    #找到含有root的行删除
    
    注意:

    当在模式匹配中使用其他界定符号时,需要对其进行转义。
    其他界定符用在 s 搜索替换时不必转义

    sed -r 's#root#shark#' abc.txt
    sed -r 's|root|shark|' abc.txt
    

    五、sed扩展

    地址(定址)
    地址用于决定对哪些行进行编辑。地址形式可以是数字、正则表达式或二者的结合。如果没有指定地址,sed将处理输入文件中的所有行。

    #全部删除
    sed -r 'd' ab.txt
    #第3行删除
    sed -r '3d' ab.txt
    #第1行到第3行都删除
    sed -r '1,3 d' ab.txt
    #从含有 root 字符串的行开始,一直到第 5 行进行删除
    sed  -r  '/root/,5  d'  ab.txt
    #含有 root 的行不删除,其他都删除
    sed  -r  '/root/  !d'   ab.txt
    #奇数行删除,其实就是 匹配到 行号 除以 2 ,余数是 1 的行
    sed  -r  '1~2  d'   ab.txt
    #偶数行打印
    sed  -rn  '0~2  p'   ab.txt
    
    

    六、sed命令

    sed命令告诉sed对匹配到的行进行何种操作,包括打印、删除、修改等

    命令功能详解
        p 打印行
        d 删除行
        a 在当前行后添加一行或多行
        c 用新文本修改(替换)当前行中的文本
        i 列出非打印字符
        n 读入下一输入行,并从下一条命令而不是第一条命令开始对其的处理
        !反选     
    
        g 全局替换
        r 从文件中读
        w 将行写入文件
        
        ---------扩展---------
        h  清除保持空间的内容后,把模式空间里的内容复制到保持空间
        H  把模式空间里的内容追加到保持空间
        g  清除模式空间的内容后, 取出保持空间的内容,并复制到模式空间
        G  取出保持空间的内容,追加在模式空间原有内容的后面
        x  交换模式空间与保持空间的内容
    
    

    sed部分命令示例

    替换命令:s

    #&代表在查找串中匹配到的所有内容
    sed -rn 's/[0-9][0-9]/&.5'  ab.txt 
    sed -r 's/(no)login/\1不可登录/'  ab.txt
    root:x:0:0:root:/root:/bin/bash
    bin:x:1:1:bin:/bin:/sbin/no不可登录
    daemon:x:2:2:daemon:/sbin:/sbin/no不可登录
    

    读文件命令:r

    #在第2行插入 从 /etc/hosts 文件中读取到的内容
    sed -r '2r /etc/hosts'  mypasswd
    
    #含有2下面,插入从/etc/hosts文件中读取到的内容
    sed -r '/2/r /etc/hosts' mypasswd
    

    写入命令:w

    #含有root的行写入到文件newfile中
    sed -r '/root/w newfile' ab.txt
    sed -r '3,$w /newfile' ab.txt
    

    追加命令:a

    sed -r ' $a 1.1.1.1 www.baidu.com' ab.txt
    

    插入命令:i

    sed -r '2i\11111111111' ab.txt
    

    修改命令:c

    sed -r '/hdhdjgsj/{ n; d}' ab.txt
    sed -r '/eastern/{ n; s/AM/Archile/ }' ab.txt
    

    暂存和取用命令:h H g G

    sed -r '1h;$G' ab.txt
    sed -r '1{h; d}; $G' /etc/host
    sed -r '1h; 2,3H; $G' /etc/host
    

    暂存空间和模式空间互换命令:x

    sed -r '4h; 5x;6G' /etc/hosts
    

    反向选择:!

    sed -r '3!d' /etc/hosts
    sed -r '! 3d' /etc/hosts
    

    七、关于选项

    选项功能
    -e 允许多项编辑
    -f 指定sed脚本文件名
    -n 取消默认的输出
    -i inplace,就地编辑
    -r 支持扩展元字符
    

    多重编辑选项:-e

    sed -e '1,3 d' -e 's/root/shark' ab.txt
    等同于
    sed '1,3 d; s/root/shark/' ab.txt
    

    八、sed常见操作

      删除配置文件中 # 号注释的行
      sed -ri '/^#/d' file.conf
     #删除开头一个或者多个空格或者Tab键
      sed -ri '^[ \t]*#/d' file.conf 
    
      YUM源修改
      sudo sed -ri s/^#baseurl/baseurl/g /etc/yum.repo.d/CentOS-Base.repo
      sudo sed -ri s/^mirrorlist/#mirrorlist/g /etc/yum.repo.d/CentOSBase.repo
    
      #删除配置文件中//号注释行
      sed -ri '\ ^[ \t]*// d' file.conf
    
    

    删除无内容空行

    • 开头和结尾之间什么都没有的行
    • 开头和结尾之间头多个空格的行
    • 开头和结尾之间有多个 Tabj键的行
    sed -ri '/^[ \t]*$/d'  file1
    

    删除注释行及空行

    sed -ri '/^[ \t]*#/d; /^[ \t]*$/d'  file2
    sed -ri '/^[ \t]*($|#)/d' file2
    

    给文件添加注释:

    sed -r '2,6s/^/#/' a.txt
    

    sed中使用外部变量

    var=1111
    #无效
    sed -r '3a$var' /etc/hosts
    #正确
    sed -r "3a$var" /etc/hosts
    #有效,将第一个$ 进行转义
    sed -r "\$a $var" /etc/hosts
    
    

    相关文章

      网友评论

          本文标题:shell_sed

          本文链接:https://www.haomeiwen.com/subject/ajwxoctx.html