从NCBI下载了一些转录组数据,这里用到的下载工具是kingfisher ,github的链接是 https://github.com/wwood/kingfisher-download
下载方法选的是aws-http
默认会将sra格式转换为fastq格式,使用到的工具是fasterq-dump
这个工具,试了几次一直遇到报错,所以就将下载格式默认选择为sra 需要制定参数-f sra
想的是后续再单独转成fastq格式
下载完成后转化fastq格式还是有问题,使用fasterq-dump
命令有时候可以成功,但是有时候就会卡住,卡住后按ctrl+c命令也不能退出,只能关掉窗口重新链接服务器,
以fasterq-dump in cluster
为关键词搜索,找到了一些关于这个问题的讨论
大家的问题基本都是一样的 计算机集群,slurm这个命令提交系统 BeeGFS 这个存储系统
和我的硬件情况一样
没有找到解决办法,找到了一个替代办法是使用 parallel-fastq-dump
github链接 https://github.com/rvalieris/parallel-fastq-dump
需要把fastq-dump
这个命令添加到环境变量
使用到的命令是
parallel-fastq-dump --threads 12 --outdir ./ --split-files -s SRR5187763.sra -T tmp/
如果sra文件已经下载好了,-s
参数后指定的内容就是文件名,如果没有下载就指定 SRR5187763
不带后缀名sra
文件下载好以后转换起来还是相当快的
大家如果遇到这个问题也可以试试这个替代方案
欢迎大家关注我的公众号
小明的数据分析笔记本
小明的数据分析笔记本 公众号 主要分享:1、R语言和python做数据分析和数据可视化的简单小例子;2、园艺植物相关转录组学、基因组学、群体遗传学文献阅读笔记;3、生物信息学入门学习资料及自己的学习笔记!