uniq

uniq 用于报告或者忽略文件中的重复行，一般与sort命令结合使用

Demo

cat sort.txt 

baidu 100 5000
baidu 100 5000
sohu 100 4500
google 110 5000 
google 110 5000 
guge 50 3000

uniq   -c  sort.txt      # 在每列旁显示该行重复出现的次数

2 baidu 100 5000
1 sohu 100 4500
2 google 110 5000 
1 guge 50 3000

uniq -u sort.txt        # 仅显示出现一次的行

sohu 100 4500
guge 50 3000

uniq -d sort.txt        #显示重复出现的行

baidu 100 5000
google 110 5000