grep
http://deerchao.net/tutorials/regex/regex.htm#lookaround
概念
正则：为处理大量的字符串而定义的一套规则和方法
注意事项：
- 各语言都有正则表达式，现在是Linux 正则表达式
- 正则表达式和通配符特殊字符是有本质区别的
- linux正则表达式一般以行为单位处理
-
alias grep='grep --color=auto'让匹配的内容显示颜色 - 注意字符集：
export LC_ALL=C
准备
alias grep='grep --color=auto'
alias egrep='egrep --color=auto'
export LC_ALL=C
只要是字符串就用双引号
准备文件
[root@ysai reg]# cat oldboy.log
I am oldboy teacher!
I teache linux.
I like badminton ball , billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.etiantian.org
my qq number is 49000448.
not 4900000448.
my god , i am not oldbey, but OLDBOY!
glad 0909
gd 1212
good 456
god 21
goood 999
gooood 12121
oldboy1
[root@ysai reg]#
字符说明
^word 开头
word$ 结尾
^$ 表示空行
. 代表且只能代表任意一个字符
\ 转义字符，\.就只代表本身，让有着特殊身份意义的字符脱掉马甲，还原原型
* 重复0个或多个前面的一个字符
.* 匹配所有字符，^.*以任意多个字符开头， .*$以任意多个字符结尾
[abc] 包含a,b,c三个中的一个
[^abc] 不包含a,b,c
[0-9]
[a-z]
a\{m,n\} 重复m~n次
a\{m,\} 重复至少m次
a\{n\} 重复n次
a\{,n\} 重复至多n次
^ 表示一行的开头。如：/^#/ 以#开头的匹配。
$ 表示一行的结尾。如：/}$/ 以}结尾的匹配。
\< 表示词首。 如 \<abc 表示以 abc 为首的詞。
\> 表示词尾。 如 abc\> 表示以 abc 結尾的詞。
. 表示任何单个字符。
* 表示某个字符出现了0次或多次。
[] 字符集合。 如：[abc]表示匹配a或b或c，还有[a-zA-Z]表示匹配所有的26个字符。如果其中有^表示反，如[^a]表示非a的字符
grep -E "a{m,n}" 可以不用写反斜线了
egrep <---> grep -E
点(.)的特殊含义
1. 当前目录
2. 使得配置生效，相当于source
3. 隐藏目录
4. 任意一个字符(grep正则)
扩展的正则
grep -E
egrep
+ 表示重复1个或1个以上
? 表示重复0个或1个
| 表示同时过滤多个
() 分组过滤，后向引用
元字符
\b 单词的边界
POSIX
http://www.infoq.com/cn/news/2011/07/regular-expressions-6-POSIX
常见的正则表达式记法，其实都源于Perl，实际上，正则表达式从Perl衍生出一个显赫的流派，叫做PCRE（Perl Compatible Regular Expression），『\d』、『\w』、『\s』之类的记法，就是这个流派的特征。但是在PCRE之外，正则表达式还有其它流派，比如下面要介绍的POSIX规范的正则表达式。
POSIX的全称是Portable Operating System Interface for uniX，它由一系列规范构成，定义了UNIX操作系统应当支持的功能，所以“POSIX规范的正则表达式”其实只是“关于正则表达式的POSIX规范”，它定义了BRE（Basic Regular Expression，基本型正则表达式）和ERE（Extended Regular Express，扩展型正则表达式）两大流派。在兼容POSIX的UNIX系统上，grep和egrep之类的工具都遵循POSIX规范，一些数据库系统中的正则表达式也符合POSIX规范。
# 规范的分类
PCRE(Perl Compatible Regular Expression)
POSIX(Portable Operating System Interface for uniX)
----BRE(grep,vi,sed)
----ERE(egrep,awk)
# 表1.常用的元字符
代码 说明
. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线或汉字
\s 匹配任意的空白符
\d 匹配数字
\b 匹配单词的开始或结束
^ 匹配字符串的开始
$ 匹配字符串的结束
# 表2.常用的限定符
代码/语法 说明
* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次
# 表3.常用的反义代码
代码/语法 说明
\W 匹配任意不是字母，数字，下划线，汉字的字符
\S 匹配任意不是空白符的字符
\D 匹配任意非数字的字符
\B 匹配不是单词开头或结束的位置
[^x] 匹配除了x以外的任意字符
[^aeiou] 匹配除了aeiou这几个字母以外的任意字符
# 表4.常用分组语法
分类 代码/语法 说明
捕获 (exp) 匹配exp,并捕获文本到自动命名的组里
(?<name>exp) 匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)
(?:exp) 匹配exp,不捕获匹配的文本，也不给此分组分配组号
零宽断言 (?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp后面的位置
(?!exp) 匹配后面跟的不是exp的位置
(?<!exp) 匹配前面不是exp的位置
注释 (?#comment) 这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅读
# 表5.懒惰限定符
代码/语法 说明
*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
#【反向引用】
?<word>\w+ 指定表达式组名
\k<name> 反向引用这个分组捕获的内容
=前面是
!后面不是
<=后面是
<!前面不是
ifconfig eth0 | grep -Po '(?<=dr:)\S+'
理解零宽断言
http://deerchao.net/tutorials/regex/regex.htm
grep_01.png
grep_02.png
grep_04.png
[root@ysai ~]# cat f.txt
<button>this is button</button>
<a href="baidu.com">baidu</a>
[root@ysai ~]# grep -Po '(?<=<(\w{6})>).*(?=<\/\1>)' f.txt
this is button
[root@ysai ~]#
grep -Po '(?<=<(\w+)>).*(?=<\/\1>)' f.txt
grep: lookbehind assertion is not fixed length
grep_05.png
[root@ysai ~]# cat a.txt
I'm singing while you're dancing.
[root@ysai ~]# grep -Po "\b\w+(?=ing\b)" a.txt
sing
danc
[root@ysai ~]# cat b.txt
inet addr:192.168.0.108 Bcast:192.168.0.255 Mask:255.255.255.0
[root@ysai ~]# grep -Po '(?<=dr:)\S+' b.txt
192.168.0.108
[root@ysai ~]# cat c.txt
reading a book
[root@ysai ~]# grep -Po '(?<=\bre)\w*\b' c.txt
ading
[root@ysai ~]# cat d.txt
Iraq fighting.
[root@ysai ~]# grep -Po '\b\w*q(?!u)\w*\b' d.txt
Iraq
[root@ysai ~]# cat e.txt
123 456d 7890
[root@ysai ~]# grep -Po '\d{3}(?!\d)' e.txt
123
456
890
[root@ysai ~]#
grep_03.png
平衡组
示例
# 过滤以m开头的行
grep "^m" oldboy.log
# 过滤以m结尾的行
grep "m$" oldboy.log
# 显示空行
grep -n "^$" oldboy.log
# 排除空行
grep -v "^$" oldboy.log
# 匹配所有非空行
grep -n "." oldboy.log
# 匹配所有
grep -n ".*" oldboy.log
# 匹配oldby
grep -ni "oldb.y" oldboy.log
# 匹配以点结尾
grep -n "\.$" oldboy.log
# 只输出匹配到的内容 -o
grep -nio "oldb.y" oldboy.log
# 包含o的行
grep -ni "o*" oldboy.log
grep "[abc]" oldboy.log
grep "[^abc]" oldboy.log
grep "0\{3,4\}" oldboy.log
grep "0\{3,\}" oldboy.log
grep "0\{3\}" oldboy.log
grep "0\{,4\}" oldboy.log
# +?
egrep "go+d" oldboy.log
egrep "go?d" oldboy.log
# |
egrep "1521|3306" /etc/services
# ()
egrep "g(la|oo)d" oldboy.log
# b
egrep "oldboy\b" oldboy.log
