秘籍 | 惊了,使用aspera下载SRA数据速度高达 291Mb/s

一、安装Aspera Connect

  • 安装Linux版的Aspera Connect
# 上面链接是最新版,因此下载的时候去官网复制最新的链接地址下载,否则可能会报错
wget https://d3gcli72yxqn2z.cloudfront.net/connect_latest/v4/bin/ibm-aspera-connect-3.11.2.63-linux-g2.12-64.tar.gz
tar -zvxf ibm-aspera-connect-3.11.2.63-linux-g2.12-64.tar.gz
sh ibm-aspera-connect-3.11.2.63-linux-g2.12-64.sh
# 永久添加到环境变量
echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

二、简单使用

ascp -v -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR142/075/SRR14209175/SRR14209175.fastq.gz ./
  • 结果,峰值速度达 \color{red}{291 Mb/s },速度惊人,\color{red}{343MB}数据用时\color{red}{16秒}
SRR14209175.fastq.gz                           100%  343MB  191Mb/s    00:16    
Completed: 351408K bytes transferred in 16 seconds (173214K bits/sec), in 1 file.

三、批量下载

  • 提前准备好【srr.list】文件,格式如下
$ cat srr.list
SRR12362016
SRR12362017
SRR12362022
SRR12362023
SRR12362024
SRR12362025
  • 新建shell脚本,命名为【asperaDownload.sh】,和【srr.list】放在同一个文件夹中
vi asperaDownload.sh
  • 将下面的内容复制进去,里面的${y}需要根据情况微调,${i: -2}表达的意思就是截取字符串的后2位,${i: -1}截取字符串的后1位。特别说明的原因就是,有时候${y}是取一位,有时候取两位,所以要根据情况微调
#!/bin/bash
for i in $(cat srr.list)
do 
x=$(echo $i | cut -b1-6)
y=`echo ${i: -2}`
echo "vol1/fastq/${x}/0${y}/${i}/${i}_1.fastq.gz" >>fastqid_trim.txt
echo "vol1/fastq/${x}/0${y}/${i}/${i}_2.fastq.gz" >>fastqid_trim.txt
done

ascp -v -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh --mode recv --host fasp.sra.ebi.ac.uk --user era-fasp --file-list fastqid_trim.txt ./
rm fastqid_trim.txt
  • 执行脚本
sh asperaDownload.sh
  • 结果,峰值速度达 \color{red}{292 Mb/s },速度惊人,\color{red}{10GB}数据用时\color{red}{27分钟}
SRR12362016_1.fastq.gz                         100%  858MB  291Mb/s    03:28    
SRR12362016_2.fastq.gz                         100%  873MB  281Mb/s    04:40    
SRR12362017_1.fastq.gz                         100%  868MB  204Mb/s    06:16    
SRR12362017_2.fastq.gz                         100%  885MB  209Mb/s    07:13    
SRR12362022_1.fastq.gz                         100%  960MB  292Mb/s    09:34    
SRR12362022_2.fastq.gz                         100%  977MB  291Mb/s    10:56    
SRR12362023_1.fastq.gz                         100%  887MB  291Mb/s    12:01    
SRR12362023_2.fastq.gz                         100%  907MB  292Mb/s    14:08    
SRR12362024_1.fastq.gz                         100%  874MB  285Mb/s    17:45    
SRR12362024_2.fastq.gz                         100%  888MB  287Mb/s    18:54    
SRR12362025_1.fastq.gz                         100%  845MB  291Mb/s    20:37    
SRR12362025_2.fastq.gz                         100%  858MB  291Mb/s    27:01    
Completed: 10942138K bytes transferred in 1621 seconds

四、ascp 参数说明

  • 不要深究软件、代码怎么实现的,其实会用、目的达到就行了,真想仔细研究可以ascp -h查看,也可以参考以下我总结的,就这么点参数需要注意:
参数 说明
-v   唠叨模式,显示下载进度,以百分数显示,建议加上去
-QT -Q指开启自主设定传输速率的功能,而-T指启用密钥以获得最大传输速率,二者配合-l-m使用。-l指定最大传输速率,这也是我峰值速度达到291 Mb/s后没有继续上升的原因,因为我设置的是-l 300m,默认是-l 100m理论推荐300M-500M,。-m指定最小传输速率,一般不用设置,默认为-m 0
-P 设置用于启动fasp会话的TCP端口,默认搭配-P 33001不要乱改,否则报错
-k 断点续传,非常必要的功能,能在意外情况下,继续下载文件,以免重新下载,设置-k1即可。-k1检查文件属性,如果匹配则继续;-k2检查文件属性并做稀疏文件校验和,如果匹配就继续;-k3检查文件属性并进行完整的文件校验和,如果匹配就继续
-i 密钥地址,为固定位置:~/.aspera/connect/etc/asperaweb_id_dsa.openssh,不要修改和移动
--mode 两种模式可供选择sendrecv--mode send为上传模式,--mode recv为接收模式,默认为--mode recv,因此可在命令行中删除,没有大碍
--host 指定下载地址的前缀信息,后缀信息不同网站也不同,具体要修改上述echo中的代码。但我推荐要下载就去ENA下载,不要去NCBI和DDBJ下载,前车之鉴。
--user 访问数据库的用户名,指定是去哪里下载
--file-list 指定存放下载路径的文件夹,脚本中自动生成与删除,不用过多操心
./ 最后不要忽略了保存路径

五、常见疑问

问:为什么我下载的这么慢,明明我设置的也是-l 300m却只有几Mb/s甚至几Kb/s

  • 答:1.你家或校园网的带宽就那么宽,你占满速度也提不上去。如千兆光纤(1000Mb/s)最大带宽就是1000÷8=125MB/s,你能达到的上限也就是125MB/s。又如校园网一般说办理的100M宽带,其实单位是M\color{red}{b}/s,因此最大带宽就是12.5MB/s如此类推。
    2.网络波动,或者其他人占用了一部分带宽(如看剧,下载东西),这种情况就只有在人少或者夜晚下载。
    3.EBI或者NCBI访问人数过多,造成网络拥挤,这种情况就只有多尝试几次。
    4.你没有加参数-Q,没有启动自主设定传输速率的功能,但不加默认是100M,理论上也不应该太慢,因此这种概率低

问:Session Stop (Error: Failed to open TCP connection for SSH)咋回事?

  • 答:加上-P33001即可
    如果依旧不行就不好搞了,因为需要管理员权限,可是我们做生信的哪里去搞服务器权限?但如果你老板给你了,那就运行下面的命令即可,然后再加上-P33001。我没有试验官方给出的解决方案,如果你成功了,请告知我,谢谢
iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT

问:断点续传对fasta/q序列文件的完整性有怎样的影响?

  • 答: \color{red}{影响较大!},因为后续分析对fa/fq文件格式要求严格,如fq但凡不是四行四行的出现,首先在QC的时候就会报错,因此断点续传看着有用,但有时候是自欺欺人,所以一但下载终止,最好的方法就是把要续传的文件删干净,一个以【.aspera-ckpt】结尾,一个以【.partial】结尾,删除后重新下载!

问:既然断点续传对fasta/q序列文件的完整性有影响,那我不加k1可以嘛?

  • 答: \color{red}{不可以!},因为当你批量下载的时候,如果有的下载成功了,有的下载失败了,这时候重新跑脚本的时候,k1的作用就体现了,他可以跳过下载完整的文件,避免重复下载浪费时间!

问:ascp: failed to authenticate, exiting. Session Stop (Error: failed to authenticate) 怎么回事?

  • 答:\color{red}{无解},因为这种并不能称之为错误,而是网络问题,今天不行,明天再次尝试可能就可以了。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,099评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,473评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,229评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,570评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,427评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,335评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,737评论 3 386
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,392评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,693评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,730评论 2 312
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,512评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,349评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,750评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,017评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,290评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,706评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,904评论 2 335