正则表达式:是为了处理大量的字符串及文本而定义的一套规则和方法。它是为过滤特殊字符串而生的。
假设"@"代表“I am”,"!"代表“oldboy”,
则执行echo "@!"的结果就是输出“I am oldboy”。
特点:为处理大量文本及字符串而定义 的一套规则和方法。
其工作时以行为单位进行,及一次处理一行。
通过正则表达式可以将复杂的处理任务化繁为简,提高操作Linux的效率。
仅被三剑客(grep/egrep、sed、awk)命令支持,其他命令无法使用。
易混淆事项
1、和通配符区别。
2、开发人员正则,一般是Perl兼容正则表达式。
3、Linux系统三剑客正则表达式。
正则表达式的分类:
基本正则表达式(Basic Regular Expression,BRE):
BRE对应的元字符有^、$、.、【】、*
扩展正则表达式(Extended Regular Expression,ERE):
ERE在BRE的基础上增加了()、{}、?、+、|等字符
基本正则表达式集合:
^ 尖角号,用法为^oldboy,表示匹配以oldboy单词开头的行
$ 美元符,用法为oldboy$,表示匹配以oldboy单词结尾的行
^$ 组合符,表示空行,逻辑解释就是以^结尾的行,或者以$开头的行
. 点号,表示匹配任意一个且只有一个字符(但是不能匹配空行)
\ 转义字符,让有特殊含义的字符脱掉马甲,现出原形,如\.只表示小数点
* 匹配前一个字符(连续出现)0次或1次以上
.* 组合符,匹配所有内容
^.* 组合符,匹配以任意多个字符开头的内容
.*$ 组合符,以任意多个字符结尾的内容
【abc】 匹配【】集合内的任意一个字符a或b或c;【abc】也可写成【a-c】
【^abc】 匹配不包含^后的任意字符a或b或c,这里的^表示对【abc】取反
扩展正则表达式集合:
+ 匹配前一个字符1次或1次以上
【:/】+ 匹配括号内的:或/字符1次或1次以上
? 匹配前一个字符0次或1次
| 表示或者,即同时过滤多个字符串
() 分组过滤被括起来的东西表示一个整体,另外()的内容可以被后面的\n引用,n为数字,表示引用第几个括号的内容
\n 引用前面()里的内容,例如:(aa)\1,匹配aaaa
a{n,m} 匹配前一个字符最少n次,最多m次
a{n,} 匹配前一个字符最少n次
a{n} 匹配前一个字符整好n次
a{,m} 匹配前一个字符最多m次
支持扩展正则的3中方法:
1:grep命令加-E参数即可支持扩展正则。
2:grep命令不加参数也可以使用扩展正则表达式的特殊字符,但有个条件,就是需要在使用的每个特殊的字符前面加反斜线\。
3:egrep命令直接支持扩展正则。
Linux三剑客
awk sed grep
sed
Sed是操作、过滤和转换文本内容的强大工具。
常用功能有对文件实现快速增删改查(增加、删除、修改、查询),
其中查询的功能中最常用的2大功能是过滤(过滤指定字符串)和取行(取出指定行)。
sed [选项] [sed内置命令字符] [文件]
选项:
-n 取消默认sed的输出,常与sed内置命令的p连用
-i 直接修改文件内容,而不是输出到终端。
如果不使用-i选项sed只是修改在内存中的数据,并不会影响磁盘上的文件
sed的内置命令字符说明
s 替换
g 全局global
p 打印print
d 删除delete
环境设置:
I am oldboy teacher!
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldboyedu.com
my qq num is 49000448.
[root@oldboyedu ~/test]# cat oldgirl.txt
I am oldboy teacher!
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.oldboyedu.com
my qq num is 49000448.
问题1:输出oldboy.txt的第2-3行内容。
sed -n '2,3p' oldgirl.txt
问题2:过滤出含有oldboy字符串的行。
sed -n '/oldboy/p' oldgirl.txt
问题3:删除含有oldboy字符串的行。
sed '/oldboy/d' oldgirl.txt
sed /oldboy/d oldgirl.txt
问题4:将文件中的oldboy字符串全部替换为oldgirl。
vim替换:
:%s#oldboy#oldgirl#g
sed 's#想替换啥#用啥替换#g' oldgirl.txt
sed 's#oldboy#oldgirl#g' oldgirl.txt
修改文件:
sed -i 's#oldboy#oldgirl#g' oldgirl.txt
问题5:将文件中的oldboy字符串全部替换为oldgirl,同时将QQ号码49000448改为31333741。
sed -e 's#oldboy#oldgirl#g' -e 's#49000448#31333741#g' oldgirl.txt I