上游分析学习笔记

RNA-seq数据分析

我们对工具和技术的评估落脚点在它们鉴定出的差异基因的准确性。为了完成这个评估,至少需要四个不同的分析阶段(图2;表2)。第一阶段把测序平台生成的原始测序数据比对到转录组。第二阶段量化与每个基因或转录本来源的reads数量,构建表达矩阵。该过程可能包括1个或多个子过程如比对,组装和定量,或者它也可以一个从读取计数生成表达矩阵。通常有一个第三阶段,包括过滤低表达的基因和至关重要的移除样品间技术差异的标准化过程。DGE的最后阶段是构建样本分组和其它协变量的统计模型,计算差异表达置信度

第1阶段-测序reads的比对和组装

测序完成后,分析的起点是包含测序碱基的FASTQ文件。最常见的第一步是将测序reads比对到已知的转录组(或注释的基因组),将每个测序reads转换为一个或多个基因组坐标。传统上,该过程是通过几个不同的比对工具(如TopHat,STAR或HISAT)完成的,其都依赖参考基因组的存在。由于测序的cDNA来自RNA,可能跨越外显子边界,因此与参考基因组(包含内含子和外显子)比对时需要进行剪接比对,即允许reads中出现大片段gap。
如果没有可用的包含已知外显子边界的高质量基因组注释,或者如果希望将reads与转录本(而不是基因)相关联,则需要在比对后执行转录组组装步骤。诸如StringTie和SOAPdenovo-Trans之类的组装工具使用比对reads的gap来推测外显子边界和可能的剪接位点。转录本重头组装特别适用于参考基因组注释缺失或不完整的物种,或者对异常转录本感兴趣(例如在肿瘤组织中)的研究。转录组组装方法受益于双端测序和/或更长的reads的使用,增加跨越splice junctions的可能性。但是,通常不需要从RNA-seq数据中从头做转录组组装来确定DGE (生信宝典注:无参分析组装是必须的)。

最近,涌现了一些计算效率高的“alignment free”工具,例如Sailfish,Kallisto和Salmon,它们将测序reads直接与转录本关联,而无需单独的定量步骤。这些工具在定量高丰度(以及长度更长)的转录本方面表现出很好的性能。但是,它们在定量低丰度或短转录本方面不够准确。(39个工具,120种组合深度评估 (转录组分析工具哪家强))

第2阶段-定量转录本丰度

将reads比对到基因组或转录组后,下一步就是将它们分配给基因或转录本,获得表达矩阵。不同的比较研究表明,定量过程中采用的方法对最终结果的影响最大,甚至比比对工具影响更大。
常用的定量工具包括RSEM,CuffLinks,MMSeq和HTSeq,以及上述的无比对直接定量工具。基于reads计数的工具(例如HTSeq或featureCounts)通常会丢弃许多比对的序列,包括那些具有多个匹配位置或比对到多个表达特征的reads。这可以在随后的分析中消除同源和重叠的转录本。RSEM使用期望最大化模型来分配模糊的reads,而无参考的比对方法(例如Kallisto)则将这些reads用于后续的定量,这可能会导致结果偏差。转录本丰度估计可以转换成等效的read计数,能完成这一转换的部分工具依赖tximport包。量化步骤结束后会得到一个合并的表达矩阵,每个表达特征(基因或转录本)各占一行,每个样品各占一列,中间的值是实际读数 (reads count)或估计的表达丰度。

阶段3-过滤和标准化

通常,基因或转录本的reads count需要进行过滤和标准化,以移除测序深度、表达模式和技术偏差的影响。过滤去除在所有样本中都低丰度表达的基因是很直接的方式,标准化表达矩阵的方法要复杂一些。简单的转换可以校正丰度,降低GC含量和测序深度的影响

阶段4-差异表达分析

获得表达矩阵后,就可以构建统计模型评估哪些转录本发生了显著的表达改变。有几个常用工具可以完成此任务;一些基于基因水平的表达计数,其它的基于转录本水平的表达计数。基因水平的工具通常依赖于比对的reads计数,并使用广义线性模型来进行复杂实验设计的评估。这些工具包括EdgeR,DESeq2limma + voom等工具,这些工具计算效率高并且彼此之间结果稳定性好。评估差异isoforms表达的工具,例如CuffDiff,MMSEQ和Ballgown,往往需要更多的计算资源,并且结果的变化也更大。但是,在差异表达工具应用之前的操作(即关于比对、定量、过滤和标准化)对最终结果的影响更大

参考基因组和基因注释文件获取

通常测序生成的reads要与参考基因组或参考转录组进行比对,或Pseudo-alignment。所以首先需要获取参考基因组和参考转录组信息。

Ensembl http://www.ensembl.org/info/data/ftp/index.html 是常用的信息齐全的参考基因组和GTF文件下载网站。
Ensembl提供的参考基因组有2种组装形式和3种重复序列处理方式, 分别是primary, toplevel和unmasked (dna)、soft-masked (dna_sm)和masked (dna_rm)。一般选择dna.primary或dna_sm.primary。

为什么选择Primary

Primary assembly contains all toplevel sequence regions excluding haplotypes and patches. This file is best used for performing sequence similarity searcheswhere patch and haplotype sequences would confuse analysis.

为什么不选择masked

Masked基因组是指所有重复区和低复杂区被N代替的基因组序列,比对时就不会有reads比对到这些区域。一般不推荐用masked的基因组,因为它造成了信息的丢失,由此带来的一个问题是uniquely比对到masked基因组上的reads实际上可能不是unique的。而且masked基因组还会带来比对错误,使得在允许错配的情况下,本来来自重复区的reads比对到基因组的其它位置。 另外检测重复区和低复杂区的软件不可能是完美的,这就造成遮盖住的重复序列和低复杂区并不一定是100%准确和敏感的。

soft-masked基因组是指把所有重复区和低复杂区的序列用小写字母标出的基因组,由于主要的比对软件,比如BWA、bowtie2等都忽略这些soft-mask,直接把小写字母当做大写字母比对,所以使用soft-masked基因组的比对效果和使用unmasked基因组的比对效果是相同的。

基因注释GTF文件在分析转录组数据时会用到,也从这获取,GTF文件的解释见文件格式部分。ENSEMBL的基因注释文件与GeneCode(http://www.gencodegenes.org/)V26版本一致

下载基因功能和结构注释信息

ENSEMBL数据库的BioMart http://www.ensembl.org/biomart/martview工具为下载基因的功能信息、序列信息、结构信息、ID的转换等提供了很大的便利。

注意在BioMart的Attribute选项里如果选择了蛋白相关的选项,得到的结果中只有蛋白编码基因的信息。如果要下载所有基因信息,请不要选择蛋白相关的选项。

具体使用:https://mp.weixin.qq.com/s?__biz=MzI5MTcwNjA4NQ==&mid=2247484148&idx=1&sn=525233898721a9c3ebdf275babf14944&scene=21#wechat_redirect

GTF/GFF文件格式解读和转换

https://mp.weixin.qq.com/s?__biz=MzI5MTcwNjA4NQ==&mid=2247484166&idx=1&sn=417e155672bd718def86003b16bf0078&scene=21#wechat_redirect

测序原始数据下载

https://mp.weixin.qq.com/s?__biz=MzI5MTcwNjA4NQ==&mid=2247485664&idx=1&sn=59720e8c0164ddd24b64b89114434aad&scene=21#wechat_redirect

生物或医学中涉及高通量测序的论文,一般会将原始测序数据上传到公开的数据库,上传方式见测序文章数据上传找哪里;并在文章末尾标明数据存储位置和登录号

NCBI的SRA (Sequence Read Archive) 数据库(http://www.ncbi.nlm.nih.gov/sra/) 是最常用的存储测序数据的数据库。目前SRA数据的组织方式分为下面4个层次:
Studies—研究课题;
Experiments—实验设计;
Runs—测序结果集;
Samples—样品信息。

使用NCBI提供的SRA-toolkit中的工具fastq-dump直接下载SRR文件,并转换为FASTQ格式,--split-3参数表示如果是双端测序就自动拆分,如果是单端不受影响。--gzip转换fastq为压缩文件,节省空间。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342