常用的参考基因组数据库:
1、Ensembl
是由European Bioinformatics Institute(EBI)与Wellcome Trust Sanger Institute(WTSI)共同合作开发的数据库项目。涵盖大量物种的参考基因组信息,并且数据更新及时,是参考基因组下载的好选择。
http://www.ensembl.org/index.html
2、NCBI
是National Center for Biotechnology Information的缩写,指美国国立生物技术信息中心。
http://www.ncbi.nlm.nih.gov/guide/howto/submit-sequence-data
3、UCSC
由University of California Santa Cruz(UCSC)创立和维护,主要包含了人类、小鼠、果蝇等多种常见动物的基因组信息。
http://genome.ucsc.edu
4、FlyBase
整合了果蝇遗传和基因组数据,并提供了基因和分子水平的检索和可视化。
http://flybase.org/
5、illumina的iGenomes打包了各物种齐全的参考数据信息。
https://support.illumina.com/sequencing/sequencing_software/igenome.html
一般在三个网站下载参考基因组:Ensembl、NCBI和UCSC:
参考基因组:对于人类来说,目前比较常用的参考基因组有hg19、hg38、GRCh37、GRCh38。hg系列是UCSC的叫法,GRCh系列是NCBI和Ensembl的叫法。同一版本的序列是一样的,hg19对应GRCh37,hg38对应GRCh38。
注释文件:三个来源同一版本的DNA序列虽然相同,但是它们的注释是不同的,更新频率也不一样。NCBI 的注释是refseq数据集,UCSC 和 Ensembl 注释都将其作为自己的一个子集,如UCSC 的refGene。而UCSC 的注释比较混乱,同样ID的基因会出现在不同链或不同染色体位置上。Ensembl的注释通常比UCSC更多(例如snRNA、miRNA、假基因,所以噪音更多一点),但是ID处理比较好,所以ID更容易进行转换。Ensembl还经常更新它的注释,更新一次作为一个版本发布。不同的来源的基因组序列名称不一样,1号染色体在 UCSC 中是 chr1,而在 Ensembl的基因组和GTF文件中是1。使用时序列和注释要统一,UCSC的基因组序列需要对应使用UCSC的gtf/gff3注释文件,Ensembl则对应使用其同一版本对应的gtf/gff3注释文件。GeneCode(http://www.gencodegenes.org/)也可以下载人类和小鼠的基因注释文件。
选择注释资源应遵循的原则:当进行强调可重复性和稳健的基因表达估计的研究时,优先选较为简单的基因组注释,如 RefGene。当进行更具探索性的研究时,更全面的注释更优,比如选择Ensembl。而UCSC则不太建议使用。
参考基因组:
2种组装形式:
toplevel - Includes haplotype information 包含了单倍体型和patch信息。单倍体型的信息会使得比对软件如STAR/hisat2/bowtie2(除了BWA)很难处理好。
primary_assembly - Single reference base per position 每个位置只有一个参考碱基。适合用于序列相似性搜索。STAR推荐使用Ensembl primary_assembly参考基因组。
3种重复序列处理方式:
dna_sm - Repeats soft-masked (converts repeat nucleotides to lowercase) 将重复核苷酸转换为小写。主要的比对软件如BWA、bowtie2等都忽略这些soft-mask,直接把小写字母当做大写字母比对。
dna_rm - Repeats masked (converts repeats to to N’s) 用N代替重复区域和低复杂区。会给后续的比对带来很大的问题,不建议选用。
dna - No masking 不标记重复序列。推荐使用。
注释文件gtf/gff3:
.gtf - 对应primary assembly.fa。包含全部的注释,除了human和mouse这两个物种只包含primary assembly(不包含patch and haplotype)。
.chr.gtf - 只含染色体上的注释,不包含toplevel scaffolds(patch and haplotypes)。
.chr_patch_hapl_scaff - 对应toplevel。只出现在human和mouse这两个物种中,包含全部注释(包括patch and haplotype)。也可以用。
.abinitio.gtf - 基于.gtf增加了使用Genscan和其他abinitio prediction tools得到的一些注释信息。
推荐:
人类:Ensembl的primary_assembly,dna(或dna_sm效果相同),以及对应的.gtf(或.chr_patch_hapl_scaff含有其它信息)。
果蝇:Ensembl的toplevel,dna(或dna_sm效果相同),以及对应的.gtf。
GTF(General Transfer Format):即GFF2。GTF是GFF便于传输版。分为9列,以Tab分割:
seqname - 染色体或scaffold的名称。
source - 生成这个特征的项目名称,或数据库来源。
feature - 特征类型名称,如gene、transcript、exon、CDS。
start end score
strand - 正链或负链+/-。
frame - 密码子的第几个碱基0/1/2。
attribute - 附加信息。
GFF3(General Feature Format):
seqid - 染色体或scaffold的名称。
source - 生成这个特征的项目名称,或数据库来源。
feature - 特征类型名称,来自SOFA sequence ontology。
start end score
strand - 正链或负链+/-。
phase - 密码子的第几个碱基0/1/2。
attribute - 附加信息。A semicolon-separated list of tag-value pairs。
GTF和GFF之间的区别:
数据结构:都是由9列构成,分别是reference sequence name; annotation source; feature type; start coordinate; end coordinate; score; strand; frame; attributes.前8列都是相同的,第9列不同。
GFF第9列:都是以键值对的形式,键值之间用“=”连接,不同属性之间用“;”分隔,都是以ID这个属性开始。下图中有两个ID,说明是不同的序列。
GTF第9列:同样以键值对的形式,键值之间是以空格区分,值用双引号括起来;不同属性之间用“;”分隔;开头必须是geneid, transciptid两个属性。
Ensembl:
https://asia.ensembl.org/Drosophila_melanogaster/Info/Index
果蝇:
ftp://ftp.ensembl.org/pub/release-99/fasta/drosophila_melanogaster/dna/
ftp://ftp.ensembl.org/pub/release-99/gtf/drosophila_melanogaster/
人类:
ftp://ftp.ensembl.org/pub/release-99/fasta/homo_sapiens/dna/
ftp://ftp.ensembl.org/pub/release-99/gtf/homo_sapiens/
文件命名规律:<species>物种. <assembly>版本号. <sequence type>序列类型. <id type>基因组类型. <id>序列编号. fa.gz
TOPLEVEL:包含了所有的序列区域(比如染色体、非染色体以及用大量N填充的单倍型haplotypes或基因组补丁patches区域)。
PRIMARY ASSEMBLY:在上面toplevel的基础上,排除了单倍型或基因组补丁区域。如果看到目录中不存在这种类型的数据(比如这里果蝇就没有,而人类的基因组数据就存在),那么就意味着基因组不包含单倍型或基因组补丁区域,其实也就是等同于TOPLEVEL。
TOPLEVEL:人类(含patch and haplotype,对应.chr_patch_hapl_scaff),果蝇(不含patch and haplotype,对应.gtf)。
PRIMARY ASSEMBLY:人类(不含patch and haplotype,对应.gtf)。
UCSC:
http://genome.ucsc.edu/index.html
最新版本:
http://hgdownload.soe.ucsc.edu/goldenPath/hg38/bigZips/latest/
hg38.chromFa.tar.gz - The assembly sequence in one file per chromosome.
hg38.fa.gz - "Soft-masked" assembly sequence in one file.
分析集文件:
http://hgdownload.soe.ucsc.edu/goldenPath/hg38/bigZips/analysisSet/
hg38.analysisSet.chroms.tar.gz - analysis set sequence one file per chromosome. 与NCBI的GCA_000001405.15_GRCh38_no_alt_analysis_set.fna.gz相同。
NCBI:
https://www.ncbi.nlm.nih.gov/genome/guide/human/
最新版本:
ftp://ftp.ncbi.nlm.nih.gov/refseq/H_sapiens/annotation/GRCh38_latest/refseq_identifiers/GRCh38_latest_genomic.fna.gz
ftp://ftp.ncbi.nlm.nih.gov/refseq/H_sapiens/annotation/GRCh38_latest/refseq_identifiers/GRCh38_latest_genomic.gff.gz
分析集文件:
ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA/000/001/405/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/
可使用:ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA/000/001/405/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_000001405.15_GRCh38_no_alt_analysis_set.fna.gz