常用的参考基因组数据库：
1、Ensembl
是由European Bioinformatics Institute（EBI）与Wellcome Trust Sanger Institute（WTSI）共同合作开发的数据库项目。涵盖大量物种的参考基因组信息，并且数据更新及时，是参考基因组下载的好选择。
http://www.ensembl.org/index.html
2、NCBI
是National Center for Biotechnology Information的缩写，指美国国立生物技术信息中心。
http://www.ncbi.nlm.nih.gov/guide/howto/submit-sequence-data
3、UCSC
由University of California Santa Cruz（UCSC）创立和维护，主要包含了人类、小鼠、果蝇等多种常见动物的基因组信息。
http://genome.ucsc.edu
4、FlyBase
整合了果蝇遗传和基因组数据，并提供了基因和分子水平的检索和可视化。
http://flybase.org/
5、illumina的iGenomes打包了各物种齐全的参考数据信息。
https://support.illumina.com/sequencing/sequencing_software/igenome.html
以果蝇为例
一般在三个网站下载参考基因组：Ensembl、NCBI和UCSC：
参考基因组：对于人类来说，目前比较常用的参考基因组有hg19、hg38、GRCh37、GRCh38。hg系列是UCSC的叫法，GRCh系列是NCBI和Ensembl的叫法。同一版本的序列是一样的，hg19对应GRCh37，hg38对应GRCh38。
注释文件：三个来源同一版本的DNA序列虽然相同，但是它们的注释是不同的，更新频率也不一样。NCBI 的注释是refseq数据集，UCSC 和 Ensembl 注释都将其作为自己的一个子集，如UCSC 的refGene。而UCSC 的注释比较混乱，同样ID的基因会出现在不同链或不同染色体位置上。Ensembl的注释通常比UCSC更多（例如snRNA、miRNA、假基因，所以噪音更多一点），但是ID处理比较好，所以ID更容易进行转换。Ensembl还经常更新它的注释，更新一次作为一个版本发布。不同的来源的基因组序列名称不一样，1号染色体在 UCSC 中是 chr1，而在 Ensembl的基因组和GTF文件中是1。使用时序列和注释要统一，UCSC的基因组序列需要对应使用UCSC的gtf/gff3注释文件，Ensembl则对应使用其同一版本对应的gtf/gff3注释文件。GeneCode（http://www.gencodegenes.org/）也可以下载人类和小鼠的基因注释文件。
选择注释资源应遵循的原则：当进行强调可重复性和稳健的基因表达估计的研究时，优先选较为简单的基因组注释，如 RefGene。当进行更具探索性的研究时，更全面的注释更优，比如选择Ensembl。而UCSC则不太建议使用。
参考基因组：
2种组装形式：
toplevel - Includes haplotype information 包含了单倍体型和patch信息。单倍体型的信息会使得比对软件如STAR/hisat2/bowtie2（除了BWA）很难处理好。
primary_assembly - Single reference base per position 每个位置只有一个参考碱基。适合用于序列相似性搜索。STAR推荐使用Ensembl primary_assembly参考基因组。
3种重复序列处理方式：
dna_sm - Repeats soft-masked (converts repeat nucleotides to lowercase) 将重复核苷酸转换为小写。主要的比对软件如BWA、bowtie2等都忽略这些soft-mask，直接把小写字母当做大写字母比对。
dna_rm - Repeats masked (converts repeats to to N’s) 用N代替重复区域和低复杂区。会给后续的比对带来很大的问题，不建议选用。
dna - No masking 不标记重复序列。推荐使用。
注释文件gtf/gff3：
.gtf - 对应primary assembly.fa。包含全部的注释，除了human和mouse这两个物种只包含primary assembly（不包含patch and haplotype）。
.chr.gtf - 只含染色体上的注释，不包含toplevel scaffolds（patch and haplotypes）。
.chr_patch_hapl_scaff - 对应toplevel。只出现在human和mouse这两个物种中，包含全部注释（包括patch and haplotype）。也可以用。
.abinitio.gtf - 基于.gtf增加了使用Genscan和其他abinitio prediction tools得到的一些注释信息。
推荐：
人类：Ensembl的primary_assembly，dna（或dna_sm效果相同），以及对应的.gtf（或.chr_patch_hapl_scaff含有其它信息）。
果蝇：Ensembl的toplevel，dna（或dna_sm效果相同），以及对应的.gtf。
GTF（General Transfer Format）：即GFF2。GTF是GFF便于传输版。分为9列，以Tab分割：
seqname - 染色体或scaffold的名称。
source - 生成这个特征的项目名称，或数据库来源。
feature - 特征类型名称，如gene、transcript、exon、CDS。
start end score
strand - 正链或负链+/-。
frame - 密码子的第几个碱基0/1/2。
attribute - 附加信息。
GFF3（General Feature Format）：
seqid - 染色体或scaffold的名称。
source - 生成这个特征的项目名称，或数据库来源。
feature - 特征类型名称，来自SOFA sequence ontology。
start end score
strand - 正链或负链+/-。
phase - 密码子的第几个碱基0/1/2。
attribute - 附加信息。A semicolon-separated list of tag-value pairs。
GTF和GFF之间的区别：
数据结构：都是由9列构成，分别是reference sequence name; annotation source; feature type; start coordinate; end coordinate; score; strand; frame; attributes.前8列都是相同的，第9列不同。
GFF第9列：都是以键值对的形式，键值之间用“=”连接，不同属性之间用“；”分隔，都是以ID这个属性开始。下图中有两个ID，说明是不同的序列。
GTF第9列：同样以键值对的形式，键值之间是以空格区分，值用双引号括起来；不同属性之间用“；”分隔；开头必须是geneid, transciptid两个属性。
来自Ensembl的gtf文件
来自UCSC的gtf文件
Ensembl：
https://asia.ensembl.org/Drosophila_melanogaster/Info/Index
果蝇：
ftp://ftp.ensembl.org/pub/release-99/fasta/drosophila_melanogaster/dna/
ftp://ftp.ensembl.org/pub/release-99/gtf/drosophila_melanogaster/
人类：
ftp://ftp.ensembl.org/pub/release-99/fasta/homo_sapiens/dna/
ftp://ftp.ensembl.org/pub/release-99/gtf/homo_sapiens/
文件命名规律：<species>物种. <assembly>版本号. <sequence type>序列类型. <id type>基因组类型. <id>序列编号. fa.gz
TOPLEVEL：包含了所有的序列区域（比如染色体、非染色体以及用大量N填充的单倍型haplotypes或基因组补丁patches区域）。
PRIMARY ASSEMBLY：在上面toplevel的基础上，排除了单倍型或基因组补丁区域。如果看到目录中不存在这种类型的数据（比如这里果蝇就没有，而人类的基因组数据就存在），那么就意味着基因组不包含单倍型或基因组补丁区域，其实也就是等同于TOPLEVEL。
TOPLEVEL：人类（含patch and haplotype，对应.chr_patch_hapl_scaff），果蝇（不含patch and haplotype，对应.gtf）。
PRIMARY ASSEMBLY：人类（不含patch and haplotype，对应.gtf）。
Ensembl果蝇的参考基因组
Ensembl果蝇的注释文件
Ensembl人类的参考基因组
Ensembl人类的注释文件
UCSC：
http://genome.ucsc.edu/index.html
最新版本：
http://hgdownload.soe.ucsc.edu/goldenPath/hg38/bigZips/latest/
latest
hg38.chromFa.tar.gz - The assembly sequence in one file per chromosome.
hg38.fa.gz - "Soft-masked" assembly sequence in one file.
分析集文件：
http://hgdownload.soe.ucsc.edu/goldenPath/hg38/bigZips/analysisSet/
analysisSet
hg38.analysisSet.chroms.tar.gz - analysis set sequence one file per chromosome. 与NCBI的GCA_000001405.15_GRCh38_no_alt_analysis_set.fna.gz相同。
NCBI：
https://www.ncbi.nlm.nih.gov/genome/guide/human/
最新版本：
ftp://ftp.ncbi.nlm.nih.gov/refseq/H_sapiens/annotation/GRCh38_latest/refseq_identifiers/GRCh38_latest_genomic.fna.gz
ftp://ftp.ncbi.nlm.nih.gov/refseq/H_sapiens/annotation/GRCh38_latest/refseq_identifiers/GRCh38_latest_genomic.gff.gz
分析集文件：
ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA/000/001/405/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/
seqs_for_alignment_pipelines
可使用：ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA/000/001/405/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_000001405.15_GRCh38_no_alt_analysis_set.fna.gz
网友评论