内容重复查找 2020-05-15

image.png

---

• 问题

less * |awk '{if ($1!="#" && $2!="Missing") print $3}' |sort |wc -l
1096

less * |awk '{if ($1!="#" && $2!="Missing") print $3}' |uniq -u |wc -l
1096

less * |awk '{if ($1!="#" && $2!="Missing") print $3}' |sort |uniq |wc -l
1095

less * |awk '{if ($1!="#" && $2!="Missing") print $3}' |sort |uniq -c |wc -l
1095

• uniq -u有个重复找不出来，需要先sort排序才能找出来！

less * |awk '{if ($1!="#" && $2!="Missing") print $3}' |sort |les
492 maker-ctg1926_np512-augustus-gene-0.30-mRNA-1
493 maker-ctg1926_np512-augustus-gene-0.30-mRNA-1

---

• sort 可排序

将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出

• uniqu 可取单独的

uniq 命令用于报告或忽略文件中的重复行，一般与sort命令结合使用
参考链接