数据提取-正则表达式和re模块

正则表达式和re模块:

什么是正则表达式:

通俗理解:按照一定的规则,从某个字符串中匹配出想要的数据。这个规则就是正则表达式。
标准答案:https://baike.baidu.com/item/正则表达式/1700215?fr=aladdin

一个段子:

世界是分为两种人,一种是懂正则表达式的,一种是不懂正则表达式的。

正则表达式常用匹配规则:

匹配某个字符串:

text = 'hello'
ret = re.match('he',text)
print(ret.group())
>> he

以上便可以在hello中,匹配出he

点(.)匹配任意的字符:

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

但是点(.)不能匹配不到换行符。示例代码如下:

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

\d匹配任意的数字:

text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1

\D匹配任意的非数字:

text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a

而如果text是等于一个数字,那么就匹配不成功了。示例代码如下:

text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

\s匹配的是空白字符(包括:\n,\t,\r和空格):

text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白

\w匹配的是a-zA-Z以及数字和下划线:

text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _

而如果要匹配一个其他的字符,那么就匹配不到。示例代码如下:

text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

\W匹配的是和\w相反的:

text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +

而如果你的text是一个下划线或者英文字符,那么就匹配不到了。示例代码如下:

text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

[]组合的方式,只要满足中括号中的某一项都算匹配成功:

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888

之前讲到的几种匹配规则,其实可以使用中括号的形式来进行替代:

  • \d:[0-9]
  • \D:0-9
  • \w:[0-9a-zA-Z_]
  • \W:[^0-9a-zA-Z_]

匹配多个字符:

  1. *:可以匹配0或者任意多个字符。示例代码如下:

     text = "0731"
     ret = re.match('\d*',text)
     print(ret.group())
     >> 0731
    
    

    以上因为匹配的要求是\d,那么就要求是数字,后面跟了一个星号,就可以匹配到0731这四个字符。

  2. +:可以匹配1个或者多个字符。最少一个。示例代码如下:

     text = "abc"
     ret = re.match('\w+',text)
     print(ret.group())
     >> abc
    
    

    因为匹配的是\w,那么就要求是英文字符,后面跟了一个加号,意味着最少要有一个满足\w的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符,那么就会报错。示例代码如下:

     text = ""
     ret = re.match('\w+',text)
     print(ret.group())
     >> AttributeError: 'NoneType' object has no attribute
    
    
  3. ?:匹配的字符可以出现一次或者不出现(0或者1)。示例代码如下:

     text = "123"
     ret = re.match('\d?',text)
     print(ret.group())
     >> 1
    
    
  4. {m}:匹配m个字符。示例代码如下:

     text = "123"
     ret = re.match('\d{2}',text)
     print(ret.group())
     >> 12
    
    
  5. {m,n}:匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下:

     text = "123"
     ret = re.match('\d{1,2}',text)
     prit(ret.group())
     >> 12
    
    

    如果text只有一个字符,那么也可以匹配出来。示例代码如下:

     text = "1"
     ret = re.match('\d{1,2}',text)
     prit(ret.group())
     >> 1
    
    

小案例:

  1. 验证手机号码:手机号码的规则是以1开头,第二位可以是34587,后面那9位就可以随意了。示例代码如下:

     text = "18570631587"
     ret = re.match('1[34587]\d{9}',text)
     print(ret.group())
     >> 18570631587
    
    

    而如果是个不满足条件的手机号码。那么就匹配不到了。示例代码如下:

     text = "1857063158"
     ret = re.match('1[34587]\d{9}',text)
     print(ret.group())
     >> AttributeError: 'NoneType' object has no attribute
    
    
  2. 验证邮箱:邮箱的规则是邮箱名称是用数字、数字、下划线组成的,然后是@符号,后面就是域名了。示例代码如下:

     text = "hynever@163.com"
     ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text)
     print(ret.group())
    
    
  3. 验证URL:URL的规则是前面是http或者https或者是ftp然后再加上一个冒号,再加上一个斜杠,再后面就是可以出现任意非空白字符了。示例代码如下:

     text = "http://www.baidu.com/"
     ret = re.match('(http|https|ftp)://[^\s]+',text)
     print(ret.group())
    
    
  4. 验证身份证:身份证的规则是,总共有18位,前面17位都是数字,后面一位可以是数字,也可以是小写的x,也可以是大写的X。示例代码如下:

     text = "3113111890812323X"
     ret = re.match('\d{17}[\dxX]',text)
     print(ret.group())
    
    

^(脱字号):表示以...开始:

text = "hello"
ret = re.match('^h',text)
print(ret.group())

如果是在中括号中,那么代表的是取反操作.

$:表示以...结束:

# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com

|:匹配多个表达式或者字符串:

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello

贪婪模式和非贪婪模式:

贪婪模式:正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式:正则表达式会尽量少的匹配字符。
示例代码如下:

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式,所以会输出0123456
>> 0123456

可以改成非贪婪模式,那么就只会匹配到0。示例代码如下:

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

案例:匹配0-100之间的数字:

text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99

而如果text=101,那么就会抛出一个异常。示例代码如下:

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

转义字符和原生字符串:

在正则表达式中,有些字符是有特殊意义的字符。因此如果想要匹配这些字符,那么就必须使用反斜杠进行转义。比如$代表的是以...结尾,如果想要匹配$,那么就必须使用\$。示例代码如下:

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99

原生字符串:
在正则表达式中,\是专门用来做转义的。在Python中\也是用来做转义的。因此如果想要在普通的字符串中匹配出\,那么要给出四个\。示例代码如下:

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

因此要使用原生字符串就可以解决这个问题:

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())


re模块中常用函数:

match:

从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下:

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

如果第一个字母不是h,那么就会失败。示例代码如下:

text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

如果想要匹配换行的数据,那么就要传入一个flag=re.DOTALL,就可以匹配换行符了。示例代码如下:

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

search:

在字符串中找满足条件的字符。如果找到,就返回。说白了,就是只会找到第一个满足条件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

分组:

在正则表达式中,可以对过滤到的字符串进行分组。分组使用圆括号的方式。

  1. group:和group(0)是等价的,返回的是整个满足条件的字符串。
  2. groups:返回的是里面的子组。索引从1开始。
  3. group(1):返回的是第一个子组,可以传入多个。
    示例代码如下:
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

findall:

找出所有满足条件的,返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

sub:

用来替换字符串。将匹配到的字符串替换为其他字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0

sub函数的案例,获取拉勾网中的数据:

html = """
<div>
<p>基本要求:</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术,对html5页面适配充分了解,熟悉不同浏览器间的差异,熟练写出兼容各种浏览器的代码;</p>
<p>2、熟悉运用常见JS开发框架,如JQuery、vue、angular,能快速高效实现各种交互效果;</p>
<p>3、熟悉编写能够自动适应HTML5界面,能让网页格式自动适应各款各大小的手机;</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面,实现HTML5模板化;</p>
<p>5、熟悉手机端和PC端web实现的差异,有移动平台web前端开发经验,了解移动互联网产品和行业,有在Android,iOS等平台下HTML5+CSS+JavaScript(或移动JS框架)开发经验者优先考虑;6、良好的沟通能力和团队协作精神,对移动互联网行业有浓厚兴趣,有较强的研究能力和学习能力;</p>
<p>7、能够承担公司前端培训工作,对公司各业务线的前端(HTML5\CSS3)工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责:</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面,各类交互的实现;</p>
<p>2、持续的优化前端体验和页面响应速度,并保证兼容性和执行效率;</p>
<p>3、根据产品需求,分析并给出最优的页面前端结构解决方案;</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试;</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

split:

使用正则表达式来分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

compile:

对于一些经常要用到的正则表达式,可以使用compile进行编译,后期再使用的时候可以直接拿过来用,执行效率会更快。而且compile还可以指定flag=re.VERBOSE,在写正则表达式的时候可以做好注释。示例代码如下:

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容

  • 什么是正则表达式: 通俗理解:按照一定的规则,从某个字符串中匹配出想要的数据。这个规则就是正则表达式。标准答案:h...
    朝南而行_阅读 984评论 0 2
  • 正则表达式和re模块: 什么是正则表达式: 通俗理解:按照一定的规则,从某个字符串中匹配出想要的数据。这个规则就是...
    久壑阅读 346评论 0 0
  • 正则表达式常用匹配规则: 匹配某个字符串: 以上便可以在hello中,匹配出he。 点(.)匹配任意的字符: 但是...
    编程小王子AAA阅读 530评论 0 0
  • re模块手册 本模块提供了和Perl里的正则表达式类似的功能,不关是正则表达式本身还是被搜索的字符串,都可以...
    喜欢吃栗子阅读 3,977评论 0 13
  • 正则表达式、re模块、匹配单个字符、匹配多个字符、匹配开头结尾、匹配分组、re模块的高级用法、python贪婪和非...
    Cestine阅读 1,421评论 0 1