浅谈Linux中的xargs命令

作者: LittleMagic | 来源:发表于2019-07-01 23:08 被阅读47次

    在说xargs命令之前,先说两句Linux中的管道(pipe)。

    管道负责单向连接前一个程序的标准输出与后一个程序的标准输入,其本质是一个共享文件。我们日常最常用到的管道是匿名管道,Shell中的管道符号为“|”。

    有空会读读与管道有关的内核源码的,比如pipe()

    管道用法举例:

    • 打印/usr/lib目录下的内容,按大小排序,并分页显示行号
    ll -Sh /usr/lib | less -N
    
    • 取出历史登录信息中的用户名,排序、去重并计数
    last | cut -d ' ' -f 1 | sort | uniq -c
    
    • 杀掉所有正在运行的redis-cli进程
    kill -15 `ps aux | grep redis-cli | grep -v grep | awk '{print $2}'`
    

    那么xargs命令又和管道有什么关系呢?如果把上面的第三个例子换一种写法:

    这说明kill命令没有接收到应有的参数。还有很多命令(比如最常见的mkdir、rm、cp等等等)都不会从标准输入读取内容,这时如果在管道符后加上xargs,再加上要执行的命令,那么前一个程序的标准输出就会作为后一个程序的参数,而不是标准输入了。

    Dash软件中xargs命令的man page

    看官可以尝试执行以下两对命令,看看输出有什么不同,能够加深理解:

    • echo '--help' | catecho '--help' | xargs cat
    • 随便找一个Spring项目的代码目录,分别执行find . -name '*.java' | grep Implfind . -name '*.java' | xargs grep Impl

    同样地,上面例子中的kill命令应该改写成:

    ps aux | grep redis-cli | grep -v grep | awk '{print $2}' | xargs kill -15
    

    xargs命令本身也有一些参数,使用方法很灵活,下面再举几个例子。

    • 自定义分隔符
      xargs默认用IFS(inner field separator,即内部域分隔符,包含空格、制表符、换行符)分割上一个程序的标准输出。如果要用其他分隔符,可以用-d参数,例如:
    ~ echo '1,2,3,4,5' | xargs -d ',' echo
    1 2 3 4 5
    

    特别地,用-0(注意是数字0)参数可以指定NULL字符'\0'作为分隔符。

    • 分批传参
      用-n参数可以规定每次传递多少个参数给后面的命令,它可以单用,也可以与-d配合使用,例如:
    ~ echo '1,2,3,4,5,6,7,8,9' | xargs -d ',' -n 4 echo
    1 2 3 4
    5 6 7 8
    9
    
    • 指定终止符
      用-E参数可以指定xargs在遇到哪个字符串时停止解析(不含该字符串)。-E不能与-d同用,例如:
    ~ echo 'cd pwd ls ps' | xargs -E 'ls' echo
    cd pwd
    
    • 交互式执行
      用-p参数就会在每次执行命令之前询问,输入y(yes)才会真正执行。如果只是想观察命令本身,可以用-t参数。例如:
    ~ echo '1,2,3,4,5,6,7,8,9' | xargs -d ',' -n 4 -t echo
    echo 1 2 3 4
    1 2 3 4
    echo 5 6 7 8
    5 6 7 8
    echo 9
    9
    
    • 指定替换参数位置
      xargs接收的参数默认会分配到下一个命令的结尾,即追加。如果想要指定替换的参数位置,可以用-I或者-i参数。其中,-i固定用双大括号{}作为占位符,-I则可以自行指定其他符号作为占位符。这个东西很有用,例如:
    # 计算表达式的值
    ~ echo '77' | xargs -I 'q' expr 2 \* q + 8
    162
    
    # 批量重命名目录下的文件
    ~ ls | xargs -i mv {} {}.bak
    
    # 批量复制目录下的文件
    ~ find . -name "*.jar" | xargs -i cp {} /opt/cloudera/jars
    

    mv、cp等命令对参数列表的长度有限制,如果按普通方法一次操作太多文件,会报“Argument list too long”错误。而xargs每次传参时是以默认128KB的批次进行,所以一切正常。批次大小还可以用-s参数自行指定。

    相关文章

      网友评论

        本文标题:浅谈Linux中的xargs命令

        本文链接:https://www.haomeiwen.com/subject/gpwgcctx.html