20210106 14:24
参考的教程:
Submitting high-throughput sequence data to GEO
How to upload files to GEO
以及我师兄给我写的教程
大致的流程从网站上截取下来的
第一步是申请一个GEO账号用来传输数据
第二步是准备提交的数据
准备的数据有三个
There are three required components for the spreadsheet-based submission method:
- a metadata spreadsheet
metadata 可以从GEO https://www.ncbi.nlm.nih.gov/geo/info/examples/seq_template.xlsx 这个网址下载下来,可以参考他们给的例子进行填写,这个一步比较费劲。 - processed data files
raw counts of sequencing reads for the features of interest, and/or
normalized abundance measurements, e.g., output from Cufflinks, Cuffdiff, DESeq, edgeR, etc.
GEO上是这么说的,我就是把处理得到的表达谱作为processed data files - raw data files
原始的测序数据就是fastq文件,这边需要提供这些文件的md5sum 以便于检查文件的完整性
MD5 Checksums: We recommend that submitters provide MD5 checksums for their raw data files. The checksums are used to verify file integrity.
数据准备完之后就是需要上传这些数据到GEO ftp 上,这个过程比较麻烦,GEO 的服务器真的是不太好用,速度很慢。
第三步就是传输准备好的数据到GEO ftp 上。
有几个方案可以选择:
第一个就是用FileZilla 来传数据
这个方法缺点在于文件会中断,你每次中断之后需要续传真的很麻烦,而且有时候会出现
读取目录失败 连接被服务器关闭等问题 第一次登陆时也出现这个问题真的是百度了很久没有解决 后来到官网一看 原来人家早已经想到这个问题了真的是血的教训要好好看官网教程
但是后来还是会时常连接中断 感觉是geo ftp 不太稳定
大致是会出现这个问题 之后按他们说的方法就可以解决问题了
我用FileZilla传完数据,但是不知道是不是因为续传的原因只有一个数据是完整的 其他数据geo 工作者说是corrupted 然后我看了geo 服务器上的数据和本地服务器上的数据是一样的 并不知道为什么他们说不一样 难过
第二个方法使用命令行的方式,参考Example Linux/Unix sessions 部分
1.Using 'lftp'
lftp ftp://geoftp:rebUzyi1@ftp-private.ncbi.nlm.nih.gov
cd uploads/your_personal_space
mirror -R Folder_with_submission_files
2.Using 'sftp' (expect slower transfer speeds since this method encrypts on-the-fly)
sftp geoftp@sftp-private.ncbi.nlm.nih.gov
password: rebUzyi1
cd uploads/.../
mkdir new_geo_submission
cd new_geo_submission
put file_name
3.Using 'ncftpput' (transfers from the command-line without entering an interactive shell)
这个方法是可以挂在后台跑的就是挂在自己服务器上跑 让它自己慢慢传就是速度真的很慢啊 最后一个还是比较方便一点
ncftpput -F -R -z -u geoftp -p "rebUzyi1" ftp-private.ncbi.nlm.nih.gov ./uploads/.../ ./local_dir_path
local_dir_path: path to the local submission directory you are transferring to your personalized upload space
-F to use passive (PASV) data connection
-z is for resuming upload if a file upload gets interrupted
-R to recursively upload an entire directory/tree
# 具体的例子
ncftpput -F -R -z -u geoftp -p "rebUzyi1" ftp-private.ncbi.nlm.nih.gov ./uploads/.../geo_submission_January6/ /home/.../geo_submission_december16/*