刘小泽写于19.1.15
第一个 基因组下载版本问题
听说许多朋友都遇到过下载ensembl数据库的基因组都会犯选择困难症,并且如果版本选择不对,后续解压可能会带你“惊喜“【例如一个1G的文件解压成50G=》花花就遇到过,我当时还不信,后来又有朋友遇到,我信了】
首先说,基因组有哪些选择呢?
最常用的就是NCBI(ftp://ftp.ncbi.nlm.nih.gov/genomes/);
UCSC(http://hgdownload.cse.ucsc.edu/downloads.html);
Ensembl(ftp://ftp.ensembl.org/pub/release-94/)
许多时候我们会选择ensembl,主要考虑到以下几点:
- Ensembl的信息很详细,比如build version就很明显【例如UCSC上是"hg38.fa.gz”,在Ensembl上就是"Homo_sapiens.GRCh38.dna_sm.primary_assembly.fa.gz”】
- Ensembl上可以看到基因组是不是masked,另外是”primary_assembly“还是"toplevel"
- Emsembl有亚洲下载镜像,对于大陆的小伙伴下载速度会快一些
- 因为正规,所以专业,有自己的注释文件搭配使用,这一点比UCSC和Refseq要好
然后,ensembl中选择哪个版本呢?
例如,打开最新的Ensembl人类基因组目录:ftp://ftp.ensembl.org/pub/release-94/fasta/homo_sapiens/dna/ 【看看是不是眼花缭乱?】
image.png但慢慢看还是有规律的:文件名以.
分隔,最开始是物种拉丁文名,然后是版本信息,重点看.dna
的后面:
- 有的是
rm
表示repeat mask
,表示基因组重复区域标记成N,如果你的用途是比对,那么尽量不要用rm版本,因为会降低总体的比对率,但比对速度会稍快。例如Homo_sapiens.GRCh38.dna_rm.chromosome.Y.fa.gz - 有的是
sm
表示soft_mask
,表示将重复区域换成小写(与上面rm
的N
不同),这个对于比对软件如BWA,Bowtie2等就比较友好,可以不分大小写识别 - 还有
Primary
和Top level
,比如Homo_sapiens.GRCh38.dna.toplevel.fa.gz, Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz
其中primary的版本中是不包括haplotype info的,而top level中会包含大量的变异信息,而这部分是很冗余并且一般也用不太到
因此,结论就是:有primary就用它,不要选rm,因此像这种就可以:Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz
https://www.biostars.org/p/129568/
第二个 关于fastq-dump问题
image.png看到一个粉丝问的问题
fastq-dump命令执行完sra数据后
有部分数据生成xxxx_1.fastq.gz,xxxx_2.fastq.gz,还有的生成了xxxx.fastq.gz
数据都是PE数据,命令是:fastq-dump --gzip --split-3
这个我还从来没有遇到过,我一直也是用这个命令来运行,结果都是正常的两个fq.gz文件,一搜索果然不是个例,https://www.biostars.org/p/186741/
# 其实我也一直好奇为什么--split会加个3?这回知道原因了,就是规定生成3个文件,但是平常我们只能看到两个,因为测序质量可能比较好
--split-3 will output 1,2, or 3 files:
1 file means the data is not paired.
2 files means paired data with no low quality reads or reads shorter than 20bp.
3 files means paired data, but asymmetric quality or trimming. in the case of 3 file output, most people ignore <file>.fastq
这个命令参数--split-3
出现的比较早,是在1000 Genome的Phase1阶段产生的,基本实现了一个trim的过程产生了第三个文件,也因此第三个文件会比较小
实际使用时,我们会忽略掉产生的第三个文件【当然也有例外,不过应该比较少见:如果第三个文件比标准的1、2文件还大,那么就要忽略掉1、2文件了】
当然如果只想要2个结果文件,可以用--split-files
欢迎关注我们的公众号~_~
我们是两个农转生信的小硕,打造生信星球,想让它成为一个不拽术语、通俗易懂的生信知识平台。需要帮助或提出意见请后台留言或发送邮件到Bioplanet520@outlook.com
网友评论