SNPs calling流程(GATK4)

SNPs marker是全基因组范围应用广泛的分子标记,本文介绍生态基因组学中利用GATK4软件进行SNPs calling的流程(人的研究中可能略有不同)。以下所有分析过程以GX_01这个样本为例子。如果有多个样本,使用for循环时需要注意引号内变量的使用。导出多个脚本也可。

1、质量控制

数据质量检测:使用fastqc软件

fastqc -o output_dir GX_01.1.fq.gz GX_01.2.fq.gz ... seqfileN.fq.gz
# 后面可以接多个fq.gz文件

数据过滤:使用fastp软件

fastp -I GX_01.1.fq.gz -o GX_01.out.1.fq.gz \
-I GX_01.2.fq.gz -O GX_01.out.2.fq.gz
# .1.fq.gz和.2.fq.gz分别为双端测序的两个文件

2、使用bwa软件进行reads mapping

# bwa建立参考基因组的引索
bwa index -a bwtsw reference.fa
#bwa mem比对算法
bwa mem -t 30 -M -P -R '@RG\tID:GX_01\tSM:GX_01\tLB:GX_01\tPL:Illumina' reference.fa GX_01.out.1.fq.gz GX_01.out.2.fq.gz >GX_01.0.sam
# -t为线程数,-R指定引号内的flag信息。ID一定要每个样本对号入座。

3、将sam转换为bam,并进行整理排序

samtools view -bS GX_01.0.sam -o GX_01.1.bam
#将sam转换为bam

samtools sort GX_01.1.bam -o GX_01.sort.2.bam
#对bam进行整理排序

4、标记Duplicates(PCA重复)

java -jar picard.jar MarkDuplicates REMOVE_DUPLICATES= false  \
MAX_FILE_HANDLES_FOR_READ_ENDS_MAP=8000 \
INPUT=GX_01.sort.2.bam OUTPUT=GX_01.marked.3.bam \
METRICS_FILE=GX_01.marked.3.bam.metrics

5、对新的到的bam文件建立引索

samtools index GX_01.marked.3.bam

6、Base (Quality Score) Recalibration(参考https://www.jianshu.com/p/f190f9dfac03)

就是利用机器学习的方式调整原始碱基的质量分数(需要参考基因组有已知SNP的vcf文件,对大多数动物基因组而言不存在,人的研究中用的到,基本可以略过)。

java -Xmx128g -jar gatk-package-4.0.10.1-local.jar BaseRecalibrator \
-R reference.fa -I GX_01.marked.3.bam --known-sites reference.known.vcf \
-O GX_01_recal_data.table
# 输出重校准表格

java -Xmx128g -jar gatk-package-4.0.10.1-local.jar ApplyBQSR \
-R reference.fa -I GX_01.marked.3.bam -bqsr GX_01_recal_data.table \
-O GX_01_recal_reads.bam
# 根据重校准表格导出校准后bam文件
#检测上述生成的bam文件是否可用。
java -Xmx128g -jar gatk-package-4.0.10.1-local.jar ValidateSamFile \
-I GX_01_recal_reads.bam

如果显示no errors found,则可以用HaplotypeCaller call SNP/Indel.

7、GATK4 call variants

如果进行了第6步的话(也就是说如果有参考SNPs库的话)

java -Xmx128G -jar gatk-package-4.0.10.1-local.jar HaplotypeCaller  \
-R reference.fa -I GX_01_recal_reads.bam \
--dbsnp reference.known.vcf --native-pair-hmm-threads 96 \
-stand-call-conf 30 -O GX_01.g.vcf.gz -ERC GVCF
# 生成gvcf文件(gvcf格式包括所有的变异类型,包括snps和indel,需要进一步过滤)也就是说现在每个样本一个gvcf文件

如果没有进行第6步(一般动植物不会有SNPs库)

java -Xmx128G -jar gatk-package-4.0.10.1-local.jar HaplotypeCaller  \
-R reference.fa -I GX_01.marked.3.bam -O GX_01.g.vcf.gz \
-ERC GVCF -ploidy 2 -stand_call_conf 30.0
# 生成gvcf文件(gvcf格式包括所有的变异类型,包括snps和indel,需要进一步过滤)也就是说现在每个样本一个gvcf文件

————
2021.4.3更新:有朋友私信我说在HaplotypeCaller这一步要加一个“--max-mnp-distance 0”选项,否则后面CombineGVCF会报错。我好像没有遇到这种情况,遇到的朋友可以试一下这个解决方法。感谢“大海龟啦啦啦”的建议。
————

8、将多个样本的gvcf文件整合成一个文件(假设除了GX_01,我们还跑了GB_01,GK_01这两个样本,现在一共三个样本进行整合)

如果进行了第6步的话(也就是说如果有参考SNPs库的话)

java -Xmx128G -jar gatk-package-4.0.10.1-local.jar CombineGVCFs \
-R reference.fa --dbsnp reference.known.vcf --variant GX_01.g.vcf.gz \
--variant GB_01.g.vcf.gz --variant GK_01.g.vcf.gz -O cohort.g.vcf.gz 

如果没有进行第6步

java -Xmx128G -jar gatk-package-4.0.10.1-local.jar CombineGVCFs \
-R reference.fa --variant GX_01.g.vcf.gz --variant GB_01.g.vcf.gz \
--variant GK_01.g.vcf.gz -O cohort.g.vcf.gz 
# 或者也可以不用一个一个指定gvcf文件,可以用-V gvcf.list

9、Genotyping(提取基因型)

java -Xmx128G -jar gatk-package-4.0.10.1-local.jar GenotypeGVCFs \
-R reference.fa -V cohort.g.vcf.gz -O genotype.vcf.gz 

10、提取SNPs(因为上一个文件包含SNPs和indels)

java -Xmx96g -jar gatk-package-4.0.10.1-local.jar SelectVariants \
-R reference.fa -O SNPs.vcf --variant genotype.vcf.gz \
--select-type-to-include SNP
# 同理,也可以提取indels

11、对SNPs进行机械过滤

按照官方建议的来就行

gatk VariantFiltration \
    -V SNPs.vcf \
    -filter "QD < 2.0" --filter-name "QD2" \
    -filter "QUAL < 30.0" --filter-name "QUAL30" \
    -filter "SOR > 3.0" --filter-name "SOR3" \
    -filter "FS > 60.0" --filter-name "FS60" \
    -filter "MQ < 40.0" --filter-name "MQ40" \
    -filter "MQRankSum < -12.5" --filter-name "MQRankSum-12.5" \
    -filter "ReadPosRankSum < -8.0" --filter-name "ReadPosRankSum-8" \
    -O SNPs_filtered.vcf

12、还可以用python脚本、VCFtools进一步筛选

vcftools \
--vcf SNPs_filtered.vcf \
--maf 0.05 \ # 最小等位基因频率为 0.05,去除稀有等位基因 --max-missing-count 0 \ # 最大丢失个体数为零
--recode --recode-INFO-all \
--hwe 0.001 # 去除不满足哈温平衡 (p<0.001)的位点
--out final.vcf.gz

注意,过滤后的位点只是打着过滤标签,还没有被移除,可以用gvcftools处理。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容