美文网首页
Linux 命令 & shell 脚本之02(sort命令)

Linux 命令 & shell 脚本之02(sort命令)

作者: 轻飘飘D | 来源:发表于2020-09-26 23:48 被阅读0次
    1. sort:(不带参数)
    [root@MYSQL8 ~]# cat sort1.dat 
    banana
    apple
    pear
    orange
    
    [root@MYSQL8 ~]# sort sort1.dat 
    apple
    banana
    orange
    pear
    
    1. sort的-u选项(它的作用很简单,就是在输出行中去除重复行)
    [root@MYSQL8 ~]# cat sort1.dat 
    banana
    apple
    pear
    orange
    pear
    
    [root@MYSQL8 ~]# sort -u sort1.dat 
    apple
    banana
    orange
    pear
    
    1. sort的-r选项(默认是升序,想改成降序,加个-r就)
    [root@MYSQL8 ~]# sort -r sort1.dat 
    pear
    pear
    orange
    banana
    apple
    
    1. sort 用 > 或 tee 进行重定向
    [root@MYSQL8 ~]# cat sort_num.dat 
    1
    3
    5
    2
    4
    
    [root@MYSQL8 ~]# sort -r sort_num.dat | tee sort_num.sort
    5
    4
    3
    2
    1
    
    or
    [root@MYSQL8 ~]# sort -r sort_num.dat > sort_num.sort
    
    [root@MYSQL8 ~]# cat sort_num.sort 
    5
    4
    3
    2
    1
    

    5.sort的-o选项 (把排序结果输出到原文件中)

    [root@MYSQL8 ~]# cat sort_num.dat 
    1
    3
    5
    2
    4
    
    [root@MYSQL8 ~]# sort -r sort_num.dat -o sort_num.dat
    
    [root@MYSQL8 ~]# cat sort_num.dat 
    5
    4
    3
    2
    1
    

    6.sort的-n选项(要以数值来排序)

    [root@MYSQL8 ~]# cat sort_num.dat 
    1
    10
    19
    11
    2
    5
    [root@MYSQL8 ~]# sort sort_num.dat 
    1
    10
    11
    19
    2
    5
    
    [root@MYSQL8 ~]# sort -n sort_num.dat 
    1
    2
    5
    10
    11
    19
    

    7.sort的-t选项和-k选项 (-t选项,后面可以设定间隔符,用-k来指定列数)

    #有三列,之间用 "," 隔开,水果类型,第二列水果数量,水果价格
    [root@MYSQL8 ~]# cat sort_order.dat
    banana,30,5.5
    apple,10,2.5
    pear,90,2.3
    orange,20,3.4
    
    #我们使用 "," 作为间隔符,并对第二列来进行数值排序
    [root@MYSQL8 ~]# sort -n -k 2 -t , sort_order.dat 
    apple,10,2.5
    orange,20,3.4
    banana,30,5.5
    pear,90,2.3
    
    1. sort其他选项
    -f  会将小写字母都转换为大写字母来进行比较,亦即忽略大小写
    -c  会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1
    -C  会检查文件是否已排好序,如果乱序,不输出内容,仅返回1
    -M  会以月份来排序,比如JAN小于FEB等等
    -b  会忽略每一行前面的所有空白部分,从第一个可见字符开始比较
    

    高阶篇

    有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2 -k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!

    1. 准备素材
    ~]$ cat facebook.txt
    google 110 5000
    baidu 100 5000
    guge 50 3000
    sohu 100 4500
    
    第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。(除了公司名称,其他的别信,都瞎写的^_^)
    
    1. 我想让这个文件按公司的字母排序,也就是按第一个域进行排序
    ~]$ sort -t ' ' -k 1 facebook.txt
    baidu 100 5000
    google 110 5000
    guge 50 3000
    sohu 100 4500
    
    看到了吧,就直接用-k 1设定就可以了。(其实此处并不严格,稍后你就会知道)
    
    1. 我想让facebook.txt按照公司人数排序
    ~]$ sort -n -t ' '  -k 2 facebook.txt
    guge 50 3000
    baidu 100 5000
    sohu 100 4500
    google 110 5000
    
    但是,此处出现了问题,那就是baidu和sohu的公司人数相同,都是100人,这个时候怎么办呢?按照默认规矩,是从第一个域开始进行升序排序,因此baidu排在了sohu前面。
    
    1. 我想让facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序
    ~]$ sort -n -t ' ' -k 2 -k 3 facebook.txt
    guge 50 3000
    sohu 100 4500
    baidu 100 5000
    google 110 5000
    
    看,我们加了一个-k2 -k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)
    
    1. 我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)
    ~]$ sort -n -t ' ' -k 3r -k 2 facebook.txt
    baidu 100 5000
    google 110 5000
    sohu 100 4500
    guge 50 3000
    
    此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上面提到的,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:
    
    ~]$ sort -t ' ' -k 3nr -k 2n facebook.txt
    baidu 100 5000
    google 110 5000
    sohu 100 4500
    guge 50 3000
    
    #看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了
    
    1. -k选项的具体语法格式
    要继续往下深入的话,就不得不来点理论知识。你需要了解-k选项的语法格式,如下:
    [ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]
    这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。
    先给你灌输一个思想,那就是“如果不设定End部分,那么就认为End被设定为行尾”。这个概念很重要的,但往往你不会重视它。
    Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。
    C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。
    FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。
    同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。
    
    1. 突发奇想,从公司英文名称的第二个字母开始进行排序:
    ~]$ sort -t ' ' -k 1.2 facebook.txt
    baidu 100 5000
    sohu 100 4500
    google 110 5000
    guge 50 3000
    
    看,我们使用了-k 1.2,这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o,但sohu的h在google的o前面,所以两者分别排在第二和第三。guge只能屈居第四了。
    
    1. 又突发奇想,,只针对公司英文名称的第二个字母进行排序,如果相同的按照员工工资进行降序排序:**
    ~]$ sort -t ' ' -k 1.2,1.2 -k 3,3nr facebook.txt
    baidu 100 5000
    google 110 5000
    sohu 100 4500
    guge 50 3000
    
    由于只对第二个字母进行排序,所以我们使用了-k 1.2,1.2的表示方式,表示我们“只”对第二个字母进行排序。(如果你问“我使用-k 1.2怎么不行?”,当然不行,因为你省略了End部分,这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序)。对于员工工资进行排 序,我们也使用了-k 3,3,这是最准确的表述,表示我们“只”对本域进行排序,因为如果你省略了后面的3,就变成了我们“对第3个域开始到最后一个域位置的内容进行排序” 了。
    
    1. 在modifier部分还可以用到哪些选项?**
    可以用到b、d、f、i、n 或 r。
    其中n和r你肯定已经很熟悉了。
    b表示忽略本域的签到空白符号。
    d表示对本域按照字典顺序排序(即,只考虑空白和字母)。
    f表示对本域忽略大小写进行排序。
    i表示忽略“不可打印字符”,只针对可打印字符进行排序。(有些ASCII就是不可打印字符,比如\a是报警,\b是退格,\n是换行,\r是回车等等)
    
    1. 思考思考关于-k和-u联合使用的例子:**
    ~]$ cat facebook.txt
    google 110 5000
    baidu 100 5000
    guge 50 3000
    sohu 100 4500
    这是最原始的facebook.txt文件。
    
    ~]$ sort -n -k 2 facebook.txt
    guge 50 3000
    baidu 100 5000
    sohu 100 4500
    google 110 5000
    
    ~]$ sort -n -k 2 -u facebook.txt
    guge 50 3000
    baidu 100 5000
    google 110 5000
    
    当设定以公司员工域进行数值排序,然后加-u后,sohu一行就被删除了!原来-u只识别用-k设定的域,发现相同,就将后续相同的行都删除。
    
    ~]$ sort  -k 1 -u facebook.txt
    baidu 100 5000
    google 110 5000
    guge 50 3000
    sohu 100 4500
    
    ~]$ sort  -k 1.1,1.1 -u facebook.txt
    baidu 100 5000
    google 110 5000
    sohu 100 4500
    

    这个例子也同理,开头字符是g的guge就没有幸免于难。

    ~]$ sort -n -k 2 -k 3 -u facebook.txt
    guge 50 3000
    sohu 100 4500
    baidu 100 5000
    google 110 5000
    
    咦!这里设置了两层排序优先级的情况下,使用-u就没有删除任何行。原来-u是会权衡所有-k选项,将都相同的才会删除,只要其中有一级不同都不会轻易删除的:)(不信,你可以自己加一行sina 100 4500试试看)
    
    1. 最诡异的排序:**
    ~]$ sort -n -k 2.2,3.1 facebook.txt
    guge 50 3000
    baidu 100 5000
    sohu 100 4500
    google 110 5000
    

    以第二个域的第二个字符开始到第三个域的第一个字符结束的部分进行排序。
    第一行,会提取0 3,第二行提取00 5,第三行提取00 4,第四行提取10 5。
    又因为sort认为0小于00小于000小于0000….
    因此0 3肯定是在第一个。10 5肯定是在最后一个。但为什么00 5却在00 4前面呢?(你可以自己做实验思考一下。)
    答案揭晓:原来“跨域的设定是个假象”,sort只会比较第二个域的第二个字符到第二个域的最后一个字符的部分,而不会把第三个域的开头字符纳入比较范围。当发现
    00和00相同时,sort就会自动比较第一个域去了。当然baidu在sohu前面了。用一个范例即可证实:

    ~]$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
    guge 50 3000
    sohu 100 4500
    baidu 100 5000
    google 110 5000
    

    相关文章

      网友评论

          本文标题:Linux 命令 & shell 脚本之02(sort命令)

          本文链接:https://www.haomeiwen.com/subject/fhpgektx.html