awk 进阶（两文件的交集和差集）

简单的语句

awk '{if ($6 = "exonic") print $0}' all_sample.txt
# $6等于exonic 时输出行
cat P14592_FFG_1_vs_P14592_BC_1.diff.sites_in_files| awk '$2~/\./{print$1,$3,$6,$8}' | awk '{print$0, "PASS",".",".","."}' | sed '1s/^/CHROM\tPOS\tRef\tAlt\tFILTER\t.\t.\t.\n/'  > ABC.vcf
# 输出第二列不是.的所有的1，3，6，8列，然后每个句子后面加上PASS . . .，最后第一行加入CHROM\tPOS\tRef\tAlt\tFILTER\t.\t.\t.\n。

两文件的交集和差集

例子

aaa.txt文本

aaa
bbb
ccc
ddd
eee
111
222

bbb.txt

bbb
ccc
aaa
hhh
ttt
jjj

求aaa.txt和bbb.txt的差集

awk

• 交集

$ awk 'NR==FNR{ a[$1]=a[$1]+1} NR>FNR{ if(a[$1]>=1 &&b[$1]<1){ print $1;b[$1]=b[$1]+1}}' aaa.txt bbb.txt 
bbb
ccc
aaa

NR表示已经处理的行数，FNR表示当前文件处理的行数。所以当NR==FNR时，处理的是aaa.txt，NR>FNR时，处理的是bbb.txt，在处理aaa.txt时，把a数组记录不同字符串个数，且起到去重作用。在处理bbb.txt时，判断a数组中是否含当前字符串，并且在本文件中出现的次数小于1，同样也是起到了去重的作用。

• 差集

$awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1}}' aaa.txt bbb.txt 
hhh
ttt
jjj

 $awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1}}' bbb.txt aaa.txt 
ddd
eee
111
222

实战

awk -F'\t' '{if(FNR==NR){if($0!~"^#"){s[$1"_"$2"_"$4"_"$5]++}}else{if($0~"^#"||s[$1"_"$2"_"$4"_"$5]==0){print$0}}}' BC.vcf FFG.vcf 
# 这个会从 FFG.vcf 中扣除 BC.vcf

image.png

grep

grep是很常用的搜索文本内容的命令，也可以实现求交集、差集功能

• 求交集

$grep -F -f aaa.txt bbb.txt
bbb
ccc
aaa

• 排序去重

$grep -F -f aaa.txt bbb.txt  | sort | uniq
aaa
bbb
ccc

• 差集

$grep -F -v -f aaa.txt bbb.txt | sort | uniq
hhh
jjj
ttt

$grep -F -v -f bbb.txt aaa.txt| sort | uniq        
111
222
ddd
eee

第一行结果为bbb.txt去除aaa.txt，；第二行为aaa.txt去除bbb.txt。注意顺序很重要！