SRA 数据下载自救指南

这飞一般的感觉~

还在羡慕海峡那边的朋友下载SRA 快到飞起?还在难过用wget 下载数据经常下载不完整?用了官方的下载工具还是慢的不行?这里有一个SRA 下载自救尝试指南供你参考。

需要用到两个工具

  • SRA Toolkit
  • IBM aspera 高速文件传输工具

因为这是一篇极简自救指南,所以一切都不解释,直接给出链接,不明白的自行学习(爱学不学)。

SRA Toolkit 网址:https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc

aspera 网址:https://support.asperasoft.com/hc/en-us

aspera 官方对于下载NCBI数据的说明

https://support.asperasoft.com/hc/en-us/articles/216125898-Downloading-data-from-NCBI-via-the-command-line

SRA Toolkit 官方对于使用aspera的说明:

https://www.ncbi.nlm.nih.gov/books/NBK242625/

https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc&f=prefetch

快速自救前奏

  • 下载 aspera (选择linux版本)

https://downloads.asperasoft.com/en/downloads/8?list

  • 安装 aspera
wget https://download.asperasoft.com/download/sw/connect/3.8.1/ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz
# 小心版本号有变动,不要直接复制上面的命令
tar zxvf ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz
bash ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.sh
# 默认安装路径 /home/user/.aspera
  • 安装 sra toolkit 具体命令省略,注意一定要安装最新版本:)

正式开始自救

目前中文关于使用 aspera 下载 sra 数据的几篇教程都写的婆婆妈妈乱七八糟,千万不要再看了

记住,正式的自救只需要两步,其它写一大串的文章都是“耍流氓”。

  1. 把要下载的数据SRR号写入一个文件srr.txt,每行是一个SRR id

  2. 利用SRA toolkit 的 prefetch 下载,并指定下载方式为 ascp,命令如下,各种参数的含义自行查看文档(爱看不看)

prefetch -t ascp -a "/home/user/.aspera/connect/bin/ascp|/home/user/.aspera/connect/etc/asperaweb_id_dsa.openssh" --option-file srr.txt -O /opt/user/ncbi

其中-a 参数中必须要用绝对路径写上ascp所在的位置和previte KEY 的位置,如果是正常安装只需要把user替换为自己的用户名。

自救效果测试

下载了八个SRR文件,平均一个大小5G左右,使用时间如下:

2018-09-05T14:14:33 prefetch.2.9.2: 1) Downloading 'SRR******'...
2018-09-05T14:14:33 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:16:58 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:16:58 prefetch.2.9.2: 1) 'SRR******' was downloaded successfully

2018-09-05T14:17:01 prefetch.2.9.2: 2) Downloading 'SRR******'...
2018-09-05T14:17:01 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:19:25 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:19:25 prefetch.2.9.2: 2) 'SRR******' was downloaded successfully

2018-09-05T14:19:28 prefetch.2.9.2: 3) Downloading 'SRR******'...
2018-09-05T14:19:28 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:22:31 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:22:31 prefetch.2.9.2: 3) 'SRR******' was downloaded successfully

2018-09-05T14:22:35 prefetch.2.9.2: 4) Downloading 'SRR******'...
2018-09-05T14:22:35 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:25:14 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:25:14 prefetch.2.9.2: 4) 'SRR******' was downloaded successfully

2018-09-05T14:25:17 prefetch.2.9.2: 5) Downloading 'SRR******'...
2018-09-05T14:25:17 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:26:46 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:26:46 prefetch.2.9.2: 5) 'SRR******' was downloaded successfully

2018-09-05T14:26:49 prefetch.2.9.2: 6) Downloading 'SRR******'...
2018-09-05T14:26:49 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:28:13 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:28:13 prefetch.2.9.2: 6) 'SRR******' was downloaded successfully

2018-09-05T14:28:16 prefetch.2.9.2: 7) Downloading 'SRR******'...
2018-09-05T14:28:16 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:29:56 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:29:56 prefetch.2.9.2: 7) 'SRR******' was downloaded successfully

2018-09-05T14:30:00 prefetch.2.9.2: 8) Downloading 'SRR******'...
2018-09-05T14:30:00 prefetch.2.9.2:  Downloading via fasp...
SRR******                                      
2018-09-05T14:31:58 prefetch.2.9.2:  fasp download succeed
2018-09-05T14:31:58 prefetch.2.9.2: 8) 'SRR******' was downloaded successfully

喏,5G的文件,即便是在(你懂的)这种网络状况下,一个也只需要不到2分钟
自救成功,祝好!


扫码即刻交流
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335