Python爬虫-数据解析学习笔记之正则表达式

1、正则表达式描述

  又称规则表达式（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
  正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

2、匹配单个字符

   A）匹配某个字符串，示例代码如下：

import re
text = 'hello'
ret = re.match('he',text)
print(ret.group())

  运行结果：

he

   B）点.：匹配任意的字符，示例代码如下：

import re
text = "ab"
ret = re.match('.',text)
print(ret.group())

  运行结果：

a

  说明：点.不能匹配不到换行符，示例代码如下：

import re
text = "\n"
ret = re.match('.',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute 'group'

   C）\d：匹配任意的数字，示例代码如下：

import re
text = "123"
ret = re.match('\d',text)
print(ret.group())

  运行结果：

1

   D）\D：匹配任意的非数字，示例代码如下：

import re
text = "a"
ret = re.match('\D',text)
print(ret.group())

  运行结果：

a

  如果text是等于一个数字，那么就匹配不成功了，示例代码如下：

import re
text = "1"
ret = re.match('\D',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute 'group'

   E）\s：匹配任意的空白字符（包括\n，\t，\r，空格等），示例代码如下：

import re
text = "\t"
ret = re.match('\s',text)
print(repr(ret.group()))

  运行结果：

'\t'

   F）\w：匹配的是a~z、A~Z、数字和下划线_，示例代码如下：

import re
text = "_"
ret = re.match('\w',text)
print(ret.group())

  运行结果：

_

  如果要匹配一个其他的字符，那么就匹配不到，示例代码如下：

import re
text = "+"
ret = re.match('\w',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute

   G）\W：匹配与\w相反的，示例代码如下：

import re
text = "+"
ret = re.match('\W',text)
print(ret.group())

  运行结果：

+

  如果text是一个下划线或者英文字符，那么就匹配不到了，示例代码如下：

import re
text = "_"
ret = re.match('\W',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute

   H）[]：组合方式，只要满足中括号中的某一项都算匹配成功，示例代码如下：

import re
text = "0755-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())

  运行结果：

0755-88888888

   H.1）[0-9]代替\d，示例代码如下：

import re
text = "09"
ret = re.match('[0-9]',text)
print(ret.group())

  运行结果：

0

   H.2）[^0-9]代替\D，示例代码如下：

import re
text = "a"
ret = re.match('[^0-9]',text)
print(ret.group())

  运行结果：

a

  如果text是等于一个数字，那么就匹配不成功了，示例代码如下：

import re
text = "1"
ret = re.match('[^0-9]',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute 'group'

   H.3）[0-9a-zA-Z_]代替\w，示例代码如下：

import re
text = "_"
ret = re.match('0-9a-zA-Z_',text)
print(ret.group())

  运行结果：

_

   H.4）[^0-9a-zA-Z_]代替\W，示例代码如下：

import re
text = "+"
ret = re.match('[^0-9a-zA-Z_]',text)
print(ret.group())

  运行结果：

+

  如果text是一个下划线或者英文字符，那么就匹配不到了，示例代码如下：

import re
text = "_"
ret = re.match('[^0-9a-zA-Z_]',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute
3、匹配多个字符

   A）*：可以匹配0或者任意多个字符，示例代码如下：

import re
text = "0755"
ret = re.match('\d*',text)
print(ret.group())

  运行结果：

0755  # 匹配的要求是\d，那么就要求是数字，后面跟了一个星号，就可以匹配到0755这四个字符。

   B）+：可以匹配1个或者任意多个字符，最少一个，示例代码如下：

import re
text = "abc"
ret = re.match('\w+',text)
print(ret.group())

  运行结果：

abc  # 匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个满足\w的字符才能够匹配到

   如果text是一个空白字符或者是一个不满足\w的字符，那么就会报错，示例代码如下：

import re
text = ""
ret = re.match('\w+',text)
print(ret)
print(ret.group())

  运行结果：

None
AttributeError: 'NoneType' object has no attribute

   C）?：匹配的字符可以出现一次或者不出现（0或者1），示例代码如下：

import re
text = "123"
ret = re.match('\d?',text)
print(ret.group())

  运行结果：

1

   D）{n}：匹配n个字符，示例代码如下：

import re
text = "123"
ret = re.match('\d{2}',text)
print(ret.group())

  运行结果：

12

   E）{m,n}：匹配m-n个字符，在这中间的字符都可以匹配到，示例代码如下：

import re
text = "123"
ret = re.match('\d{1,2}',text)
prit(ret.group())

  运行结果：

12

  如果text只有一个字符，那么也可以匹配出来，示例代码如下：

import re
text = "1"
ret = re.match('\d{1,2}',text)
prit(ret.group())

  运行结果：

1

4、实践案例（1）

   A）验证手机号码：手机号码的规则是以1开头，第二位可以是3456789，后面那9位就可以随意了，示例代码如下：

import re
text = '13985685945'
ret = re.match('1[3-9]\d{9}', text)  # 正则表达式也可以写成“1[^1-2]\d{9}”
print(ret.group())

  运行结果：

13985685945

   B）验证邮箱：邮箱的规则是邮箱名称是用数字、字母、下划线组成的，然后是@符号，后面就是域名了，示例代码如下：

import re
text = 'kevin@163.com'
ret = re.match('\w+@\w+.[a-zA-Z\.]+', text)  # 正则表达式也可以写成'[a-zA-Z0-9_]+@[a-zA-Z0-9_]+.[a-zA-Z\.]+'
print(ret.group())

  运行结果：

kevin@163.com

   C）验证URL：URL的规则是前面是http或者https或者是ftp然后再加上一个冒号:，再加上两个斜杠//，再后面就是可以出现任意非空白字符了，示例代码如下：

import re
text = 'https://www.baidu.com'
ret = re.match('(http|https|ftp)://[^\s]+', text)
print(ret.group())

  运行结果：

https://www.baidu.com

   D）验证身份证：身份证的规则是，总共有18位，前面17位都是数字，后面一位可以是数字，也可以是小写的x，也可以是大写的X，示例代码如下：

import re
text = '61042219900128264x'
ret = re.match('\d{17}[\dxX]', text)  # 正则表达式也可以写成'\d{17}[0-9xX]'
print(ret.group())

  运行结果：

61042219900128264x

5、其他匹配规则

   A）^：表示以...开始，示例代码如下：

import re
text = "hello"
ret = re.match('^he',text)
print(ret.group())

  运行结果：

he

  说明1：如果^是在中括号[]中，那么代表的是取反操作；
  说明2：re.match()函数本身就是从头开始匹配，所以在使用re.match()函数时可以不使用^约束从头开始匹配。

   B）$：表示以...结束，示例代码如下：

import re
# 匹配163.com的邮箱
text = "kevin@163.com"
ret = re.match('\w+@163.com$',text)
print(ret.group())

  运行结果：

kevin@163.com

   C）|：匹配多个表达式或者字符串，示例代码如下：

import re
text = "https"
ret = re.match('http|https|ftp',text)
print(ret.group())

  运行结果：

https

   D）贪婪模式和非贪婪模式，贪婪模式—正则表达式会匹配尽量多的字符，默认是贪婪模式。非贪婪模式—正则表达式会尽量少的匹配字符。示例代码如下：

import re
text = "0123456"
ret = re.match('\d+',text)
print(ret.group())  # 因为默认采用贪婪模式，所以会输出0123456

  运行结果：

0123456

   可以改成非贪婪模式，那么就只会匹配到0，示例代码如下：

import re
text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())  # 因为采用采用贪婪模式，所以会输出0

  运行结果：

0

6、实践案例（2）

   匹配0-100之间的数字，示例代码如下：

import re
text = "99"
ret = re.match('[1-9]\d?$|100$',text)
print(ret.group())

   运行结果：

99

7、转义字符和原生字符串

   在正则表达式中，有些字符是有特殊意义的字符，因此如果想要匹配这些字符，那么就必须使用反斜杠\进行转义。比如$代表的是以...结尾，如果想要匹配$，那么就必须使用\$，示例代码如下：

import re
text = "apple price is $99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())

   运行结果：

$99

   原生字符串：在正则表达式中，\是专门用来做转义的，在Python中\也是用来做转义的，因此如果想要在普通的字符串中匹配出\，那么要给出四个\，示例代码如下：

import re
text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

   运行结果：

\c

   因此要使用原生字符串就可以解决这个问题，示例代码如下：

import re
text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

   运行结果：

\c

8、Python的re模块

   A）match()函数：从开始的位置进行匹配，如果开始的位置没有匹配到。就直接失败了，示例代码如下：

import re
text = 'hello'
ret = re.match('h',text)
print(ret.group())

   运行结果：

h

   如果第一个字母不是h，那么就会失败，示例代码如下：

import re
text = 'ahello'
ret = re.match('h',text)
print(ret)
print(ret.group())

   运行结果：

None
AttributeError: 'NoneType' object has no attribute 'group'

   如果想要匹配换行的数据，那么就要传入一个flag=re.DOTALL，就可以匹配换行符了，示例代码如下：

import re
text = "abc\nabc"
ret = re.match('abc.*abc', text, re.DOTALL)
print(ret.group())

   运行结果：

abc
abc

   B）search()函数：在字符串中找满足条件的字符,如果找到，就返回,说白了，就是只会找到第一个满足条件的，示例代码如下：

import re
text = 'apple price $99 orange price $88'
ret = re.search('\$\d+',text)
print(ret.group())

   运行结果：

$99

   C）分组：在正则表达式中，可以对过滤到的字符串进行分组。分组使用圆括号的方式。
   a）group：和group(0)是等价的，返回的是整个满足条件的字符串；
   b）groups：返回的是里面的子组，索引从1开始；
   c）group(1)：返回的是第一个子组，可以传入多个。
   示例代码如下：

import re
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.group(1, 2))
print(ret.groups())

   运行结果：

apple price is $99,orange price is $10
apple price is $99,orange price is $10
$99
$10
('$99', '$10')
('$99', '$10')

   D）findall()函数：找出所有满足条件的，返回的是一个列表，示例代码如下：

import re
text = 'apple price $99 orange price $88'
ret = re.findall('\$\d+', text)
print(ret)

   运行结果：

['$99', '$88']

   E）sub()函数：用来替换字符串，将匹配到的字符串替换为其他字符串，示例代码如下：

import re
text = 'apple price $99 orange price $88'
ret = re.sub('\d+', '0', text)
print(ret)

   运行结果：

apple price $0 orange price $0

   sub函数的案例，获取拉勾网中的数据，示例代码如下：

import re
import re
html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""
ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

   运行结果：

基本要求：
1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；
2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；
3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；
4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；
5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；
7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。

岗位职责：
1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；
2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；
3、根据产品需求，分析并给出最优的页面前端结构解决方案；
4、协助后台及客户端开发人员完成功能开发和调试；
5、移动端主流浏览器的适配、移动端界面自适应研发。

   F）split()函数：使用正则表达式来分割字符串，示例代码如下：

import re
text = "hello world ni hao"
ret = re.split('\W', text)
print(ret)

   运行结果：

["hello","world","ni","hao"]

   G）compile()函数：对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快，而且compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做好注释，示例代码如下：

import re
text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """, re.VERBOSE)
ret = re.search(r, text)
print(ret.group())

   运行结果：

20.50
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,132评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,802评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,566评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,858评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,867评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,695评论 1赞 282
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,064评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,705评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,915评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,432评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,041评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2赞 343