Python专门内置了re模块，用于实现正则表达式的操作。在这里我对该模块知识点做一个简单的总结，方便学习和查询。

1 模块导入

import re
doc = "@AAABCDBEDBFDEF 1234561_abcdef$@AA"

2 常用的正则符号

2.1 一般符号

2.2 预定义字符集

2.3 数量词

2.4 边界匹配

3 常用匹配方法

3.1 search()

该方法匹配并提取第一个符合规律的内容，返回一个正则表达式对象。

import re

doc = "@AAABCDBEDBFDEF 1234561_abcdef@AA"
a = re.search("AA", doc)
print(a)
# <re.Match object; span=(1, 3), match='AAA'>

3.2 findall()

该方法匹配所有符合规律的内容，并以列表的形式返回结果。

import re

doc = "@AAABCDBEDBFDEF 1234561_abcdef@AA"
a = re.findall("AA", doc)
print(a)
# ['AA', 'AA']

3.3 fullmatch()

该方法检测整个字符串是否匹配，匹配失败返回None，匹配成功返回一个正则表达式对象。

import re

doc = "abcdef"
a = re.fullmatch("abc", doc)
print(a)
# None
a = re.fullmatch("a\D*", doc)
print(a)
# <re.Match object; span=(0, 6), match='abcdef'>

4 模块修饰符

re模块包含一些可选的标志修饰符，用来控制匹配的模式，如下：

import re

doc = """abcdefAbC

        xyz"""

a = re.findall("abc\w*", doc)
print(a)
# ['abcdefAbC']

a = re.findall("abc", doc, re.I)
print(a)
# ['abc', 'AbC']

a = re.findall("a(.*?)z", doc)
print(a)
# []
a = re.findall("a(.*?)z", doc, re.S)
print(a)
# ['bcdefAbC\n\n        xy']

5 爬虫re模块使用技巧

5.1 非贪心算法(.*?)

上面的例子里有用到(.*?)表达式，“()”表示括号的内容作为返回结果，“.*?”是非贪心算法，匹配任意的字符。例如，字符串"xxIxxddsgxxlovexxghhfgxxPythonxxsfsd",可以通过'xx(.*?)xx'匹配符合这种规则的字符串。

import re


a = "xxIxxddsgxxlovexxghhfgxxPythonxxsfsd"
info = re.findall('xx(.*?)xx', a)
print(info)
#  ['I', 'love', 'Python']

5.2 跨行匹配re.S

在爬虫中，re.S是最常用的修饰符，它能够换行匹配。举个例子：
例如提取<div>指数</div>中的文字，可以通过以下代码实现：

import re

a = '<div>指数</div>'
word = re.findall('<div>(.*?)</div>', a)
print(word)
# [指数]

但是如果字符串是下面这样的多行字符串就会匹配不到字符串。

import re

a = '''<div>指数

</div>'''
word = re.findall('<div>(.*?)</div>', a)
print(word)
# []

这是因为findall()函数是逐行匹配的，当第1行没有匹配到数据时，就会从第2行开始重新匹配，这样就没法匹配到div标签中的文字信息，这时便可通过re.S来进行跨行匹配。

import re

a = '''<div>指数

</div>'''
word = re.findall('<div>(.*?)</div>', a, re.S)
print(word)
#['指数\n\n']