- 什么是正则表达式
正则表达式是对字符串操作的一种逻辑共识,就是用事先定义好的一些特定字符以及这些特定字符的组合,组成一个规则字符串,这个规则字符串用来表达对字符串的一种过滤逻辑
需要注意的是,正则表达式非Python独有,在Python中通过re模块来实现 - 样例展示
正则表达式常用规则 - 用法详解
1.常见模式
模式 | 描述 |
---|---|
\w | 匹配字母数字以及下划线 |
\W | 匹配非字母数字下划线 |
\s | 匹配任意空白字符,等价于[\t\n\r\f]. |
\S | 匹配任意非空白字符 |
\d | 匹配任意数字,等价于[0-9] |
\D | 匹配任意非数字 |
\A | 匹配字符串开始 |
\Z | 匹配字符串结束,如果存在换行,只匹配到换行钱的结束字符串 |
\z | 匹配字符串结束 |
\G | 匹配最后匹配完成的位置 |
\n | 匹配一个换行符 |
\t | 匹配一个制表符 |
^ | 匹配字符串的开头 |
$ | 匹配字符串的末尾 |
. | 匹配任意字符,除了换行符,宕re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符 |
[...] | 用来表示一组字符,单独列出:[amk]匹配'a','m'或者'k' |
[^...] | 不在[]中的字符:[^abc]匹配除了a,b,c之外的字符 |
* | 匹配0个或者多个的表达式 |
+ | 匹配1个或者多个的表达式 |
? | 匹配0个或者1个由前面正则表达式定义的片段,非贪婪模式 |
{n} | 精确匹配n个前面表达式 |
{n,m} | 匹配n到m次由前面的正则表达式定义的片段,贪婪模式 |
a|b | 匹配a或b |
() | 匹配括号内的表达式,也表示一个组 |
2.re.match
re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回None,用法如下所示
re.match(pattern, string, flag=0)
# 最常规的用法
import re
content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$', content)
print(result)
print(result.span()) # span输出匹配结果的范围
print(result.group()) # group返回匹配结果
# # 泛匹配(.*就可以把中间字符匹配到,但是必须制定起始位置)
result1 = re.match('^Hello.*Demo$',content)
print(result1)
print(result1.group())
print(result1.span())
content1 = 'Hello 1234567 World_This is a Regex Demo'
result2 = re.match('^Hello\s(\d+)\sWorld.*Demo$', content1)
print(result2)
print(result2.group(1)) # 将第一括号括起来的内容打印出来,依次可推group(2)
print(result2.span())
# 贪婪匹配
result3 = re.match('^He.*(\d+).*Demo$',content)
print(result3)
print(result3.group(1)) # 打印结果为7,意味着‘.*’将前面的数字全部包含了
#
# 非贪婪匹配
result4 = re.match('^He.*?(\d+).*Demo$',content)#注意看我的细节:“?”
print(result4)
print(result4.group(1))
# 匹配模式
content = '''Hello 1234567 World_This
is a
Regex
Demo
'''
result5 = re.match('^He.*?(\d+).*?Demo$',content)#无视换行的下场
print(result5)
result6 = re.match('^He.*?(\d+).*?Demo$',content,re.S)#添加参数re.S就可以无视换行
print(result6)
#转义
content2 = 'price is $5.00'
result7 = re.match('price is \$5\.00',content2)#添加‘\’即可把特殊字符进行转义
print(result7)
#总结:尽量使用泛匹配,使用括号得到匹配目标,尽量使用非贪婪模式、有换行符就用re.S#re.search(扫描整个字符串并返回第一个成功的匹配)
content3 = 'Extra stings Hello 123232 World_This is a Regex Demo Extra stings'
result8 = re.match('Hello.*?(\d+).*?Demo',content3)
print(result8)#结果为None,说明从开始就匹配失败
result9 = re.search('Hello.*?(\d+).*?Demo',content3)#re.search不管开头是否相符,只要条件满足就可以找到
print(result9)
print(result9.group(1))
#总的来说,能用search就不用match
#匹配演练
html = '''<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list"class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3"singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4"class="active">
<a href="/3.mp3"singer="齐秦">往事随风</a>
</li>
<li data-view="6"><a href="/4.mp3"singer="begoud">光辉岁月</a></li>
<li data-view="5"><a href="/5.mp3"singer="陈慧琳">记事本</a><li>
<li data-view="5">
<a href="/6.mp3"singer="邓丽君"><li class="fa fa-user">但愿人长久</a>
</li>
</ul>
</div>'''
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>',html,re.S)
print(result.group(1),result.group(2))
#
result1 = re.search('<li.*?singer="(.*?)">(.*?)</a>',html,re.S)
print(result1.group(1),result1.group(2))
#
result2 = re.search('<li.*?singer="(.*?)">(.*?)</a>',html)
if result2:
print(result2.group(1),result2.group(2))#re.search()只找寻一个结果
#
#re.findall(搜索字符,以列表的形式返回全部匹配的字符串)
result3 = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>',html,re.S)
#
print(result3)#以元组的形式将所有值输出
print(type(result3))
for result3 in result3:
print(result3)
print(result3[0],result3[1],result3[2])
# #关于换行问题,“(<a.*?>)?”括号内表示一个组,“?”表示a标签可能有
result4 = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>',html,re.S)
#
print(result4)
for result4 in result4:
print(result4[1])
#re.sub(替换字符串中每一个匹配的字符串后返回替换后的字符串)
#re.sub(正则表达式,要替换成的字符串,原字符串)
content6 = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
content5 = re.sub('\d+','Replacement',content6)
print(content5)
#在原来的基础上增加
content4 = re.sub('(\d+)',r'\1 45545',content6)
print(content4)
html = '''<div id="songs-list">
<h2 class="title">经典老歌</h2>
<p class="introduction">
经典老歌列表
</p>
<ul id="list"class="list-group">
<li data-view="2">一路上有你</li>
<li data-view="7">
<a href="/2.mp3"singer="任贤齐">沧海一声笑</a>
</li>
<li data-view="4"class="active">
<a href="/3.mp3"singer="齐秦">往事随风</a>
</li>
<li data-view="6"><a href="/4.mp3"singer="begoud">光辉岁月</a></li>
<li data-view="5"><a href="/5.mp3"singer="陈慧琳">记事本</a></li>
<li data-view="5">
<a href="/6.mp3"singer="邓丽君"><li class="fa fa-user">但愿人长久</a>
</li>
</ul>
</div>'''
html2 = re.sub('<a.*?>|</a>','',html)#把a标签替换掉
result10 = re.findall('<li.*?>(.*?)</li>',html2,re.S)
print(result10)
#
for result10 in result10:
print(result10.strip())#去掉换行符
#re.compile(将正则字符串编译成正则表达式对象,以便于复用该匹配对象)
content8 = '''
hello
1234545
World_This
is a
Regex
Demo
'''
pattern = re.compile('hello.*Demo',re.S)
result12 = re.match(pattern,content8)
print(result12)
result13 = re.match('hello.*Demo',content8,re.S)
print(result13)
- 实例讲解
爬取豆瓣读书内容
import re
import requests
content = requests.get('https://book.douban.com/').text
pattern = re.compile(
'<li.*?"cover">.*?href="(.*?)" title="(.*?)".*?"more-meta".*?"author">(.*?)</span>.*?"year">(.*?)</span>.*?</li>',
re.S)
result88 = re.findall(pattern, content)
# print(result88)
for result in result88:
url, name, author, date = result
author = re.sub('\s', '', author) # 使用re.sub将(\n)代替
date = re.sub('\s', '', author)
print(url, name, author, date)