目录
- pod文档
- Getopt::Long
- perl单行
- 使用Hash遇到的坑
- Hash中的排序操作
- 安装Perl模块
- 6.1. 使用CPAN模块自动安装
- 6.2. 手工安装
- 6.3. 非root用户的另一个解决方案
- 循环匹配
- chomp带来空行匹配的失败
- perl中的grep函数
1. pod文档
使用pod文档可以实现程序usage说明
=head1 part1
doc in part1
=head2 part2
doc in part2
.
.
.
=cut # pod文档结束的标志
注意:每个=标签上下必须隔一行,否则就会错误解析。
用pod2doc $0
可以将程序中的文档打印出来,不过一般用在程序内部,当程序参数设定错误时打印pod文档:
die `pod2doc $0` if (...);
2. Getopt::Long
首先需要在脚本开头加上对该模块的引用
use Getopt::Long;
使用GetOptions函数承接传递的参数:
my ($var1,$var2,$var3,$var4); # 若使用"use strict"模式,则需要提前定义变量
GetOptions(
"i:s"=>\$var1,
"o:s"=>\$var2,
"n:i"=>\$var3,
"m:i"=>\$var4
);
3. perl单行
执行perl -h
可以查看perl的所有参数使用说明,使用perl单行需要使用到-e
参数
$ perl -e 'print "hello world!\n"'
perl单行常用的场景为进行文本的逐行读取并操作,即隐式地开启while(<>)
,需要使用-n
参数
perl -ne
'BEGIN{}
...
END{}'
filename
BEGIN 和 END 区块根据需要进行添加
若需要在逐行读取的同时,自动将行中的元素打散 (split),默认以\s
(空字符,即空格或制表符)作为分割符,则需要使用-a
参数,相当于在执行了@F = split $_
,打散后的元素会保存在@F
中
4. 使用Hash遇到的坑
在编写perl脚本的过程中,我们常常会将读入文件一行中的某两项(一行可能有多列,列与列之间用制表符\t
隔开)作为相对应的两项,分别作为Hash的键(key)和值(value),由于Hash这种数据结构要求key是唯一,而value可以重复,因此一般将唯一的那一项作为key,另一项作为value
但是,由于字符串首末端空字符的存在会导致一个意想不到的情况:
创建了两个Hash,让它们的key是一一对应的,而各自存储的value不同,当时在某些key字符串首末端混入了空字符,例如Hash1有一个key为"KEY"
,Hash2有一个key为"KEY "
,它们本来应该是一样的,但是由于空字符的存在,它们现在不一样了
这时候的解决方法是在构建Hash之前,不论实际的字符串的首末端有没有空字符串,都尝试将这些空字符串去掉:
# 假设读入的文件只有用制表符隔开的两列
while(<IN>){
chomp;
@recorder = split /\t/;
$recorder[0] =~ s/(^\s+)|(\s+$)//g; # 去除开头和末尾的空字符串
$recorder[1] =~ s/(^\s+)|(\s+$)//g; # 去除开头和末尾的空字符串
$hash{$recorder[0]} = $recorder[1];
}
5. Hash中的排序操作
对key进行排序
其基本的语法结构为:
sort <排序规则> <排序对象>
若要对keys进行排序则排序对象就是keys,所以最后一项要写成keys %hash
# 按value排序
## 对hash的keys按hash value排序(按ASCII码排序)
sort { $hash{$a} cmp $hash{$b} } keys %hash
## 对hash的keys按hash value排序(按数字大小排序)
sort { $hash{$a} <=> $hash{$b} } keys %hash
# 按key排序
# 对hash的keys按hash key排序
sort {$a<=>$b} keys %hash
6. 安装Perl模块
查看perl模块的安装目录,主要就是@INC这个默认变量
perl -e '{print "$_\n" foreach @INC}'
若要临时添加perl模块的安装目录,则在perl脚本中shebang(#!/usr/bin/perl
)后紧接着添加push(@INC,"...");
命令,若是在perl单行中,则写成BEGIN{push(@INC,"...");}
若是要永久添加perl模块的安装目录,则修改PERL5LIB环境变量即可:
export PERL5LIB=/PATH/TO/LIB
查看已安装的Perl模块:
# 查看系统中安装的Perl模块
find `perl -e 'print "@INC"'` -name '*.pm'
# 查看当前环境下所有的模块(一般为用户自己安装的)
instmodsh
查询单个perl模块的安装路径:
perldoc -l Getopt::Long
查看安装的perl模块的版本号
perl -MGetopt::Long -e 'print Getopt::Long->VERSION. "\n"'
装Perl模块有两种方法
- 自动安装 (使用CPAN模块自动完成下载、编译、安装的全过程)
- 手工安装 (去CPAN网站下载所需要的模块,手工编译、安装)
6.1. 使用CPAN模块自动安装
首先你得已经安装了CPAN,若没有执行以下命令:
# yum install perl-CPAN
安装前需要先联上网,有无root权限均可
$ perl -MCPAN -e shell
cpan>help
cpan>m
cpan>install Net::Server
cpan>quit
- 查询:cpan[1]> d /模块名字或者部分名字/
查询结果中会给出所有含有模块名字或者部分名字的模块,选择您所需要的模块进行下载
- 下载安装:cpan[1]> install 模块名字
同时会自动安装很多依赖的模块,非常方便。
6.2. 手工安装
一般情况下不推荐这种安装方式,但是总是会有迫不得已的时候,而且尝试这种方式,能加深对perl模块的理解。
比如从 CPAN下载了Net-Server模块0.97版的压缩文件Net-Server-0.97.tar.gz,假设放在/usr/local/src/下。
cd /usr/local/src
tar xvzf Net-Server-0.97.tar.gz
cd Net-Server-0.97
perl Makefile.PL
make test
如果测试结果报告all test ok
,你就可以放心地安装编译好的模块了。
6.3. 非root用户的另一个解决方案
手动下载local::lib, 这个perl模块,然后自己安装在指定目录,也是能解决模块的问题!
下载之后解压,进入:
perl Makefile.PL --bootstrap=~/.perl ##这里设置你想把模块放置的目录
make test && make install
echo 'eval $(perl -I$HOME/.perl/lib/perl5 -Mlocal::lib=$HOME/.perl)' >> ~/.bashrc ##目录与前面要一致
等待几个小时即可!!!
添加好环境变量之后,就可以用
perl -MCPAN -Mlocal::lib -e 'CPAN::install(LWP)'
或有更简单的写法:
cpanm --local-lib=~/perl5 local::lib && eval $(perl -I ~/perl5/lib/perl5/ -Mlocal::lib)
7. 循环匹配
在李恒的github博客 On the definition of sequence identity 当中看到这样一个Perl单行代码:
$ perl -ane 'if(/NM:i:(\d+)/){$n=$1;$l=0;$l+=$1 while/(\d+)[MID]/g;print(($l-$n)/$l,"\n")}'
这行代码的目的是为了计算SAM文件中每条记录BLAST identity
BLAST identity是根据你比对到的碱基除去比对所涉及到的columns数目,换句话来说就是比对涉及到所有的碱基数目
例如这样的双序列比对:
Ref+: 1 CCAGTGTGGCCGATaCCCcagGTtgGC-ACGCATCGTTGCCTTGGTAAGC 49 |||||||||||||| ||| || || |||||||||||||||||||||| Qry+: 1 CCAGTGTGGCCGATgCCC---GT--GCtACGCATCGTTGCCTTGGTAAGC 45
它们的BLAST identity就是
43/50=86%
那么要计算SAM文件中每条reads的BLAST identity,总长可以通过叠加CIGAR中对应的M/I/D
的数目得到,比对到的碱基数目等于总长减去NMtag(比对不上的碱基位置的标记)
李恒的这行代码中有一部分一开始没有读懂,就是下图红框中的那部分:
其实这是一种简写方式,正规完整且更容易读懂的形式可以写成下面这样:
# 这里为了更好看,添加了适当的换行和缩进
$ perl -ane \
'if(/NM:i:(\d+)/){
$n=$1;
$l=0;
while(/(\d+)[MID]/g){
$l+=$1;
}
print(($l-$n)/$l,"\n");
}
'
while(/(\d+)[MID]/g)
中的正则表达式/(\d+)[MID]/g
,引起了我极大的好奇:它是在正则表达式后面添加了一个g
字符,即开启了全局匹配,又由于是在while( )
中进行的正则匹配,等于是开启了循环匹配,即对于CIGAR字符串18M3D22M
,正则表达式/(\d+)[MID]/g
,先会匹配上18M
,然后会匹配上3D
,最后匹配上22M
很有意思的用法
8. chomp带来空行匹配的失败
我常用正则表达式/^\s+$/
来进行文件中空行的匹配
在用perl单行进行文本处理,我喜欢用一个固定的格式:
$ perl -ne 'chomp;...' <input>
chomp在这里的作用是在每读入一行后,去除末尾的换行符
此时如果你要匹配的空行是/^\n/
形式的,即这行只有一个换行符,被chomp处理过之后这一行就变成了/^$/
形式的空字符的行,此时如果再用正则表达式/^\s+$/
进行匹配,就会匹配失败
那么遇到这种情况应该怎么匹配呢?
使用/^\s?$/
即可,元字符?
的作用是匹配前面的字符0到多次
9. perl中的grep函数
grep有2种表达方式:
grep BLOCK LIST
grep EXPR, LIST
BLOCK
表示一个code块,通常用{ }表示;
EXPR
表示一个表达式,通常是正则表达式。原文说EXPR可是任何东西,包括一个或多个变量,操作符,文字,函数,或子函数调用;
LIST
是要匹配的列表
grep的工作原理:
grep对列表里的每个元素进行BLOCK或EXPR匹配,它遍历列表,并临时设置元素为
$_
在列表上下文里,grep返回匹配命中的所有元素,结果也是个列表。在标量上下文里,grep返回匹配命中的元素个数。
实例一:
open FILE "<myfile" or die "Can't open myfile: $!";
print grep /terrorism|nuclear/i <FILE>;
打开一个文件myfile,然后查找包含terrorism或nuclear的行。<FILE>
返回一个列表,它包含了文件的完整内容。可能你已发现,如果文件很大的话,这种方式很耗费内存,因为文件的所有内容都拷贝到内存里了
实例二:
foreach my $infile (grep { !/^\./ && -f "$indir/$_" } readdir(DIR)){
...
}
readdir(DIR)
读入指点文件夹句柄DIR
下的所有文件(包括以.
开头的隐藏文件)的文件名,构成一个文件名列表 (list),然后每一次读入一个文件名保存到临时变量$_
中,传递给grep处理,先用!/^\./
判断文件名是否以.
开头,保证该文件不是隐藏文件,接着,通过-f "$indir/$_"
判断该文件是否存在
参考资料:
(1) 生信菜鸟团:perl模块安装大全
(2) Heng Li's blog: On the definition of sequence identity
(3) 【简书】生信杂谈:怎样定义sequences比对的相似度?
(4) perl中grep的详细用法