数据解析之正则表达式和re模块

什么是正则表达式：

通俗理解：按照一定的规则，从某个字符串中匹配出想要的数据。这个规则就是正则表达式。
标准答案：https://baike.baidu.com/item/正则表达式/1700215?fr=aladdin

特殊字符：

^ $ . * ? + {2} {2,} {2,5} |
[] [^] [a-zA-Z]
/s /S /w /W /d /D

正则表达式常用匹配规则：

匹配某个字符串使用 match 函数，输出匹配到的字符使用 group() 函数 ：

text = 'hello'
ret = re.match('he',text)
print(ret.group())

>> he

以上便可以在hello中，匹配出he。

^（脱字号）：代表以什么开始（不在中括号）或者取反（在中括号）

text = "hello"
# 匹配开头是h的字符
ret = re.match('^h',text)
# 匹配不是e的字符
ret_two = re.match('[^e]+',text)
print(ret.group())
print(ret_two .group())

>>

如果是在中括号中，那么代表的是取反操作.

$：表示以...结束：

# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())

>> xxx@163.com

|：匹配多个表达式或者字符串：

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())

>> hello

点（.）匹配任意的字符：

text = "ab"
ret = re.match('.',text)
print(ret.group())

>> a

但是点（.）不能匹配不到换行符。示例代码如下：

text = "ab"
ret = re.match('.',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

\d匹配任意的数字：

text = "123"
ret = re.match('\d',text)
print(ret.group())

>> 1

\D匹配任意的非数字：

text = "a"
ret = re.match('\D',text)
print(ret.group())

>> a

而如果text是等于一个数字，那么就匹配不成功了。示例代码如下：

text = "1"
ret = re.match('\D',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

text = "\t"
ret = re.match('\s',text)
print(ret.group())

>> 空白

\w匹配的是a-z和A-Z以及数字和下划线：

text = "_"
ret = re.match('\w',text)
print(ret.group())

>> _

而如果要匹配一个其他的字符，那么就匹配不到。示例代码如下：

text = "+"
ret = re.match('\w',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute

\W匹配的是和\w相反的：

text = "+"
ret = re.match('\W',text)
print(ret.group())

>> +

而如果你的text是一个下划线或者英文字符，那么就匹配不到了。示例代码如下：

text = "_"
ret = re.match('\W',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute

[]组合的方式，只要满足中括号中的某一项都算匹配成功：

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())

>> 0731-88888888

之前讲到的几种匹配规则，其实可以使用中括号的形式来进行替代：

  • \d：[0-9]
  • \D：[^0-9]
  • \w：[0-9a-zA-Z_]
  • \W：[^0-9a-zA-Z_]

匹配多个字符：

  1. *：可以匹配0或者任意多个字符。示例代码如下：

     text = "0731"
 ret = re.match('\d*',text)
 print(ret.group())

 >> 0731

    以上因为匹配的要求是\d，那么就要求是数字，后面跟了一个星号，就可以匹配到0731这四个字符。

  2. +：可以匹配1个或者多个字符。最少一个。示例代码如下：

     text = "abc"
 ret = re.match('\w+',text)
 print(ret.group())

 >> abc

    因为匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个满足\w的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符，那么就会报错。示例代码如下：

     text = ""
 ret = re.match('\w+',text)
 print(ret.group())

 >> AttributeError: 'NoneType' object has no attribute

  3. ?：匹配的字符可以出现一次或者不出现（0或者1）。示例代码如下：

     text = "123"
 ret = re.match('\d?',text)
 print(ret.group())

 >> 1

  4. {m}：匹配m个字符。示例代码如下：

     text = "123"
 ret = re.match('\d{2}',text)
 print(ret.group())

 >> 12

  5. {m,n}：匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下：

     text = "123"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())

 >> 12

    如果text只有一个字符，那么也可以匹配出来。示例代码如下：

     text = "1"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())

 >> 1

小案例：

  1. 验证手机号码：手机号码的规则是以1开头，第二位可以是34587，后面那9位就可以随意了。示例代码如下：

     text = "18570631587"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())

 >> 18570631587

    而如果是个不满足条件的手机号码。那么就匹配不到了。示例代码如下：

     text = "1857063158"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())

 >> AttributeError: 'NoneType' object has no attribute

  2. 验证邮箱：邮箱的规则是邮箱名称是用数字、数字、下划线组成的，然后是@符号，后面就是域名了(使用\进行转义)。示例代码如下：

     text = "hynever@163.com"
 ret = re.match('\w+@[a-z0-9]+\.[a-z]+',text)
 print(ret.group())

  3. 验证URL：URL的规则是前面是http或者https或者是ftp然后再加上一个冒号，再加上一个斜杠，再后面就是可以出现任意非空白字符了。示例代码如下：

     text = "http://www.baidu.com/"
 ret = re.match('(http|https|ftp)://[^\s]+',text)
 print(ret.group())

  4. 验证身份证：身份证的规则是，总共有18位，前面17位都是数字，后面一位可以是数字，也可以是小写的x，也可以是大写的X。示例代码如下：

     text = '45080219960402123X'
 ret = re.match('\d{17}[\dxX]|\d{14}[\dxX]',text)
 print(ret.group())

贪婪模式和非贪婪模式：

贪婪模式：正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式：正则表达式会尽量少的匹配字符。
示例代码如下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式，所以会输出0123456

>> 0123456

可以改成非贪婪模式，那么就只会匹配到0。示例代码如下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

案例：匹配0-100之间的数字：

text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())

>> 99

而如果text=101，那么就会抛出一个异常。示例代码如下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

转义字符和原生字符串：

在正则表达式中，有些字符是有特殊意义的字符。因此如果想要匹配这些字符，那么就必须使用反斜杠进行转义。比如$代表的是以...结尾，如果想要匹配$，那么就必须使用\$。示例代码如下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())

>> $99

原生字符串：
在正则表达式中，\是专门用来做转义的。在Python中\也是用来做转义的。因此如果想要在普通的字符串中匹配出\，那么要给出四个\。示例代码如下：

text = "apple \c"
ret = re.search('\\\\c',text)

print(ret.group())

因此要使用原生字符串就可以解决这个问题：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

re模块中常用函数：

match：

从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())

>> h

如果第一个字母不是h，那么就会失败。示例代码如下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

如果想要匹配换行的数据，那么就要传入一个flag=re.DOTALL，就可以匹配换行符了。示例代码如下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

search：

在字符串中找满足条件的字符。如果找到，就返回。说白了，就是只会找到第一个满足条件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())

>> 99

分组：

在正则表达式中，可以对过滤到的字符串进行分组。分组使用圆括号的方式。

  1. group：和group(0)是等价的，返回的是整个满足条件的字符串。
  2. groups：返回的是里面的子组。索引从1开始。
  3. group(1)：返回的是第一个子组，可以传入多个。
    示例代码如下：
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

>>
apple price is $99,orange price is $10
apple price is $99,orange price is $10
$99
$10
('$99', '$10')

findall：

找出所有满足条件的，返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)

>> ['99', '88']

sub：

用来替换字符串。将匹配到的字符串替换为其他字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)

>> apple price $0 orange price $0

sub函数的案例，获取拉勾网中的数据：

html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

split：

使用正则表达式来分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

compile：

对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快。而且compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做好注释。示例代码如下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

正则表达式实战抓取古诗文网页

import requests
import re
import json

# 正则表达式实战抓取古诗文网页


def parse_page(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }

    response = requests.get(url, headers=headers)
    text = response.text
    # <div\sclass="cont"> 某个div下面
    # .* 多个任意字符  . 点号不能匹配到 \n 在后面加 re.DOTALL 可以让 . 点号匹配所有字符
    # 匹配个字符需要非贪婪模式 加 ?
    titles = re.findall(r'<div\sclass="cont">.*?<b>(.*?)</b>',text,re.DOTALL)
    dynasties = re.findall(r'<p\sclass="source">.*?<a.*?>(.*?)</a>',text,re.DOTALL)
    authors = re.findall(r'<p\sclass="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text,re.DOTALL)
    content_tags = re.findall(r'<div\sclass="contson"\s.*?>(.*?)</div>',text,re.DOTALL)
    contents = []
    for content in content_tags:
        x = re.sub('<.*?>','',content)
        contents.append(x.strip())

    peoms = []
    for value in zip(titles,dynasties,authors,contents):
        title,dynasty,author,content = value
        peom = {
            'title':title,
            'dynasty':dynasty,
            'author':author,
            'content':content
        }
        peoms.append(peom)

    print("="*200)
    print(peoms)
    print("=" * 200)
    # json_peoms = json.dumps(peoms)
    # print(json_peoms.encode('utf-8').decode('utf-8'))


def main():
    # base_url = 'https://www.gushiwen.org/default_{}.aspx'
    # for x in range(1,100):
    #     url = base_url.format(x)
    #     parse_page(url)

    for x in range(1,101):
        url = 'https://www.gushiwen.org/default_%s.aspx' % x
        parse_page(url)


if __name__ == '__main__':
    main()

正则表达式实战抓取糗事百科网页

import requests
import re
import json

# 正则表达式实战抓取糗事百科网页


def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }

    response = requests.get(url, headers=headers)
    text = response.text
    # <div\sclass="cont"> 某个div下面
    # .* 多个任意字符  . 点号不能匹配到 \n 在后面加 re.DOTALL 可以让 . 点号匹配所有字符
    # 匹配个字符需要非贪婪模式 加 ?


    imgs = re.findall(r'<div\sclass="author\sclearfix">.*?<img src="(.*?)".*?>', text, re.DOTALL)
    author_tags = re.findall(r'<div\sclass="author\sclearfix">.*?<h2>(.*?)</h2>', text, re.DOTALL)
    authors = []
    for author in author_tags:
        authors.append(author.strip())

    articleGenders = re.findall(r'div\sclass="author\sclearfix">.*?<div\sclass="articleGender\s.*?">(.*?)</div>', text, re.DOTALL)

    content_tags = re.findall(r'<div\sclass="content">.*?<span>(.*?)</span>',text,re.DOTALL)
    contents = []
    for content in content_tags:
        x = re.sub('<.*?>','',content)
        contents.append(x.strip())

    statsVotes = re.findall(r'<div\sclass="stats">.*?<span\sclass="stats-vote">.*?<i\sclass="number">(.*?)</i>', text, re.DOTALL)
    statsComments = re.findall(r'<div\sclass="stats">.*?<span\sclass="stats-comments">.*?<i\sclass="number">(.*?)</i>', text, re.DOTALL)


    peoms = []
    for value in zip(imgs,authors,articleGenders,contents,statsVotes,statsComments):
        img,author,articleGender,content,statsVote,statsComment = value
        peom = {
            'img':img,
            'author':author,
            'articleGender':int(articleGender),
            'content':content,
            'statsVote':int(statsVote),
            'statsComment':int(statsComment)
        }
        peoms.append(peom)

    print("="*200)
    print(peoms)
    print("=" * 200)
    json_peoms = json.dumps(peoms,ensure_ascii=False)
    with open('qsbk.json', 'w', encoding='utf-8') as fp:
        fp.write(json_peoms)
    print("=" * 200)
    print(json_peoms)
    print("=" * 200)

    # ensure_ascii=False 解码 Unicode
    # with open('qsbk.json','w',encoding='utf-8') as fp:
        # 转换为文件
        # json.dump(peoms,fp,ensure_ascii=False)

    # 将python对象转换成json字符串
    # json.dump  json.dumps
    # 将json字符串转换成python对象
    # json.load  json.loads


def main():
    # base_url = 'https://www.qiushibaike.com/8hr/page/{}/'
    # for x in range(1,14):
    #     url = base_url.format(x)
    #     parse_page(url)

    for x in range(1,14):
        url = 'https://www.qiushibaike.com/8hr/page/%s/' % x
        parse_page(url)


if __name__ == '__main__':
    main()

上一篇：数据解析之BeautifulSoup4解析库
下一篇：数据存储之json文件处理和csv文件处理

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,098评论 5赞 476
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,213评论 2赞 380
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 149,960评论 0赞 336
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,519评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,512评论 5赞 364
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,533评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,914评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,574评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,804评论 1赞 296
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2赞 319
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,350评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,933评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2赞 342

推荐阅读更多精彩内容

  • 正则表达式和re模块
    正则表达式和re模块： 什么是正则表达式： 通俗理解：按照一定的规则，从某个字符串中匹配出想要的数据。这个规则就是...
    久壑阅读 346评论 0赞 0
  • 正则表达式和re模块
    正则表达式常用匹配规则： 匹配某个字符串： 以上便可以在hello中，匹配出he。 点（.）匹配任意的字符： 但是...
    编程小王子AAA阅读 530评论 0赞 0
  • Python 高级 8正则表达式
    正则表达式、re模块、匹配单个字符、匹配多个字符、匹配开头结尾、匹配分组、re模块的高级用法、python贪婪和非...
    Cestine阅读 1,415评论 0赞 1
  • Python正则表达式re模块手册
    re模块手册 本模块提供了和Perl里的正则表达式类似的功能，不关是正则表达式本身还是被搜索的字符串，都可以...
    喜欢吃栗子阅读 3,975评论 0赞 13
  • 正则表达式
    1.正则表达式概述 正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regula...
    TENG书阅读 828评论 0赞 1