前言
实验室最近有一批数据在发表文章之前需要上传到GEO Gene Expression Omnibus。
所以记录下上传数据的流程给大家借鉴。
准备
创建NCBI账号
登陆NCBI官网，右上角进行账号创建，会在注册邮箱收到两封确认邮件，点击链接进行确认即可。
登记GEO信息
在submitter这个网址的第二个CONTACT选项登记你的信息。登记结束后点击SAVE即可。PREVIEW可以查看你的录入信息。
因为我已经登记成功了，显示的是我的信息，所以这里就不截图了。
别点击NEW SUBMISSION了，不然就要重新录入一遍，别问我是怎么知道的
随后进入GEO页面，选择Submit to GEO。
因为上传的是二代测序数据，所以选择High-throughput sequence submissions
GEO数据上传需要三类文件，很简单的阅读理解，不翻译了。
GEOarchive has three required components:
- a metadata spreadsheet;
- processed data files,
- raw data files.
Details about each component are described below.
通过三步悠然的上传数据
第一步，准备raw data
即测序文件，二代测序就是指的fastq或者fastq.gz文件，同时还有md5文件（Linux下md5sum file即可获得）
第二步，准备processed data
即分析结果文件，ChIP-seq就是wig/bw文件，RNA-seq就是counts matrix或者FPKM文件等， 换而言之指的是需要方便别人查看你结果的文件。
第三步，填写metadata spreadsheet
下载第一个红标区域的metadata spreadsheet template
如图所示为ChIP-seq数据提交模板，加粗蓝色栏为必填，未加粗的蓝色栏为选填栏目，鼠标悬停在右上角红色三角出会有当前栏目的填写说明。
注意事项：双端测序在表格最后一栏需要再填写一遍，同时需要提供average insert size 和 standard error
这里提供一个perl脚本，使用方法如下：
计算average insert size，脚本环境为python 2.7
$ head -10000 mapped.sam | python mean_size.py
220 35
$ samtools view mapped.bam | head -10000 | python mean_size.py
220 35
#! /usr/local/bin/python2.7
"""
mean_size.py
Created by Tim Stuart
"""
import numpy as np
def get_data(inp):
lengths = []
for line in inp:
if line.startswith('@'):
pass
else:
line = line.rsplit()
length = int(line[8])
if length > 0:
lengths.append(length)
else:
pass
return lengths
def reject_outliers(data, m=2.):
"""
rejects outliers more than 2
standard deviations from the median
"""
median = np.median(data)
std = np.std(data)
for item in data:
if abs(item - median) > m * std:
data.remove(item)
else:
pass
def calc_size(data):
mn = int(np.mean(data))
std = int(np.std(data))
return mn, std
if __name__ == "__main__":
import sys
lengths = get_data(sys.stdin)
reject_outliers(lengths)
mn, std = calc_size(lengths)
print mn, std
另外一种解决方法：
awk '{ if ($9 > 0) { N+=1; S+=$9; S2+=$9*$9 }} END { M=S/N; print "n="N", mean="M", stdev="sqrt ((S2-M*M*N)/(N-1))}' sample.sam
# 数据过滤，以insert size <2000 为限制举例
awk '{ if ($9 > 0) {if ($9 <2000){ N+=1; S+=$9; S2+=$9*$9 }}} END { M=S/N; print "n="N", mean="M", stdev="sqrt ((S2-M*M*N)/(N-1))}' sample.sam
数据上传
准备好需要的三类文件以后，我们就着手上传我们的数据了。
首先GEO的数据上传是通过FTP完成的，WINDOWS用户可以通过FileZilla之类的FTP客户端完成上传。
用户名和密码在网站上公布出来了。请自行在目录下建立一个自己的文件夹（不要多建，该FTP只允许上传数据和新建，不允许修改文件和下载文件）。
密码会半年修改一次，请自行核实当前密码。
当然Linux用户首选得还是利用lftp传输。这里可以参考的GEO官网给出的方法：
# 2019-03-28 更新
# 在命令行下
lftp ftp://geo:33%259uyj_fCh%3FM16H@ftp-private.ncbi.nlm.nih.gov
# 此时进入GEO ftp的主目录
mirror -R /home/your_directory/
# 此时ls命令可以看到主目录下出现your_directory目录（包含子目录）
写信给GEO
数据上传结束之后就写一份信给GEO数据维护人员：geo@ncbi.nlm.nih.gov。
提供我自己的例本：
Dear GEO officer,
Thanks for you kindly host such great public data resource.
I have successfully transferred our lab's high-throughput sequencing data to NCBI-GEO ftp sever as instruction.
The files are listed in the metadata_spreadsheet excel and we provide md5 checksums in it.
Hope you may assist us to upload our data to share with others.
Here is the information you may be needed for further processing:
1. GEO account username: *******
2. Names of the directory and files deposited: /******
3. Public release date: not public until we send another e-mail to confirm, we need a private access link to share our data.
Files incorporate three parts:
1. metadata_spreadsheet & md5.txt in /*******
2. processed_data_files & md5.txt in /*******
3. raw_data_files & md5.txt in /*******
If there is any format or content problem, please do not hesitate to contact me.
Thanks!
Bset,
NAME
收尾工作
就是等待GEO人员处理完数据给你回信啦，会给你一个链接查看你的数据，就和日常在GEO上查找的数据一样。教程OVER。
注意
别忘了给GEO officer回一封感谢信。
参考文献
http://timoast.github.io/2014/11/04/SizeEstimation/
生信宝典
以下为高通量测序数据处理系列快速通道：
高通量测序数据处理学习记录（零）：NGS分析如何选择合适的参考基因组和注释文件
高通量测序数据处理学习记录（二）：Read Counts的提取
高通量测序数据处理学习记录（三）：Pathway Analysis及GSEA
高通量测序数据处理学习记录（四）：DeepTools学习笔记
