本文翻译整理自《Bioinformatics Data Skills》第六章“Bioinformatics Data”。
内容
Retrieving data
- 是否需要下载大的测序数据集还是频繁通过web应用下载特定文件,这都需要特殊的工具和技能。
Ensuring data integrity
- 数据太大,很可能网络传输时丢包,我们该怎样确保下载下来的数据是完整可用的,在分析之前我们也应该检查数据。
Compression
- 数据太大需要压缩,不然各种操作(存储、传输、拷贝等)都不方便,浪费资源。
用 wget与curl下载数据
wget
我们可在终端命令行上用wget
从网上快速下载一个文件,比如下载hg19(GRCh37)的22号染色体序列:
shawn@ubuntu-wsx:/mnt/d$ sudo wget http://hgdownload.soe.ucsc.edu/goldenPath/hg19/chromosomes/chr22.fa.gz
--2017-07-19 22:09:09-- http://hgdownload.soe.ucsc.edu/goldenPath/hg19/chromosomes/chr22.fa.gz
正在解析主机 hgdownload.soe.ucsc.edu (hgdownload.soe.ucsc.edu)... 128.114.119.163
正在连接 hgdownload.soe.ucsc.edu (hgdownload.soe.ucsc.edu)|128.114.119.163|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度: 11327826 (11M) [application/x-gzip]
正在保存至: “chr22.fa.gz”
chr22.fa.gz 100%[===================>] 10.80M 2.19MB/s in 9.6s
2017-07-19 22:09:19 (1.13 MB/s) - 已保存 “chr22.fa.gz” [11327826/11327826])
可以看到非常快,而且简单。如果不指定路径,它直接下载到当前目录。
wget
可以处理FTP
和HTTP
协议,基本我们接触的传输协议就是它们了(邮箱好像不一样)。有些文件下载需要认证,这可以通过--user=
和--ask-password
两个选项登入。wget
它的一个优点是可以递归下载,通过-r
选项指定,它会下载当前目录的文件以及当前目录链接的文件、目录。默认下载的深度是5(当前目录的5层子文件),我们可以用--level
或者-l
指定。
一个从某大学网站下载gtf
文件的例子:
root@ubuntu-wsx:/mnt/d/example-data# wget --accept "*.gtf" --no-directories --recursive --no-parent http://genomics.someuniversity.edu/labsite/annotation.html
需要注意的是,wget
命令会把它能下载的全下载下来(疯狗啊~)。我们可以通过--no-parent
选项阻止它下载上层文件,用--accept "*.gtf"
只下载匹配指定模式的文件。--limit-rate
可以限制下载速度。
man wget
可以获取更多信息,http://man.linuxde.net/wget 是非常不错的参考。
Curl
curl
与wget
略有不同。wget
适用于递归下载文件,curl
是抓取文件到标准输出(当然可以抓网络上的啦)。同样的,如果我们下载hg19上22号染色体数据:
root@ubuntu-wsx:/mnt/d/example-data# curl http://hgdownload.soe.ucsc.edu/goldenPath/hg19/chromosomes/chr22.fa.gz > chr22_1.fa.gz
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 10.8M 100 10.8M 0 0 509k 0 0:00:21 0:00:21 --:--:-- 1465k
显示的界面也不同呢。
如果你不想用重导向<
,可以添加-o <filename>
指定输出文件。curl
支持比wget
更多的协议,像SFTP(secure FTP)
和SCP(secure copy)
;它的另一个特点是curl
会下载链接重导向的最终页面,而不是链接导向的页面本身。当然它还有一些其他的特点。Linux的每一个命令工具都有其系统性和优势,熟练掌握它们会为工作减少很多力气和时间。
命令详情:http://man.linuxde.net/curl
Rsync and Secure Copy (scp)
rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项。
基本语法:rsync source destination
下面是一个例子,你想要把你data/
目录下的数据传输到同事的数据目录下:
$ rsync -avz -e ssh zea_mays/data/ vinceb@[ip地址]:/home/deborah/zea_mays/data
-a
表示启动归档模式,表示以递归方式传输文件,并保持所有文件属性;-v
可视地显示传输过程;-z
以压缩的方式传输。-e
后接ssh
表示指定以ssh
的方式进行同步数据。
详情:http://man.linuxde.net/Rsync
因为这个命令用于数据同步,你可以多次使用以确保数据传输完成。
scp命令支持将本地数据拷贝到远程,或者将远程数据拷贝到本地。传输通过ssh
协议完成。
数据完整性
SHA and MD5 检验和
两个最重要的检验和算法是MD5
和SHA-1
。介绍可以问度娘,我们知道和会用就行。
我们可以通过shasum
命令创建和检查(SHA-1)检验和。
相似的命令有md5sum
,sum
,chsum
等等。
一些参考详情:
https://linux.die.net/man/1/shasum
查看数据不同
当你发现数据的检验和不同时,你可能会想文件之间有多大的差别。这时候可以使用diff
命令。
比如比较两个bed
文件:
diff -u gene-1.bed gene-2.bed
-u
选项指定输出为unified diff format
。类似于git diff
。
详情:http://man.linuxde.net/diff
压缩数据和处理压缩数据
两大最常用的压缩系统是gzip和bzip2。两者都有各自的优势:gzip
压缩和解压缩速度比后者快;bzip2
比前者拥有更高的压缩比例。通常生信数据用gzip
存储和处理,bzip2
适用于长期存储的数据。这里主要介绍gzip
,bzip2
操作类似。
gzip体系中,用gzip
命令压缩,用gunzip
命令解压。gzip不仅可以用来压缩大的、较少使用的文件以节省磁盘空间,还可以和tar命令一起构成Linux操作系统中比较流行的压缩文件格式。
下面是简单使用例子,我们压缩和解压缩fastq文件:
$ gzip -c in.fastq > in.fastq.gz
$ gunzip -c in.fastq.gz > duplicate_in.fastq
-c
选项可以将结果导出到标准输出,这样我们可以调用管道命令。
gzip
另一方面之处是我们可以对压缩文件追加压缩:
$ ls
in.fastq.gz in2.fastq
$ gzip -c in2.fastq >> in.fastq.gz
这样,我们通过>>
将in2.fastq
追加压缩到in.fastq.gz
中了。
详情:http://man.linuxde.net/gzip http://man.linuxde.net/gunzip
需要注意的是,这种压缩的文件是单个的,也就是两个文件的内容是连在一起的。如果要压缩多个文件,需要和tar
命令(http://man.linuxde.net/tar )连用。
与常用的文件处理命令(cat, grep, less, diff)相对应,处理压缩文件有类似的命令——zcat
,zgrep
,zless
,zdiff
。
我就不一一的放详情地址了,常用的linux命令都可以在http://man.linuxde.net/ 查询。这是中文的,有些命令找不到的可能需要找下相关博文或者英文手册。