系列爬虫专栏

崇尚的学习思维是：输入，输出平衡，且维持平衡点不断精进的地步

曾经有大神告诫说：没事别瞎写文章；为此写的都是，在我能力范围内的

1：框架

2：概念

• 什么是正则表达式？

正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。

用自己的话复述：正则表达式是一种匹配文本的工具，由字符串和特殊字符组成。相当于一种过滤器，不符合要求的被过滤掉。

• 眼见为实

\bhi\b.*\bLucy\b这是个正则表达式

3：语法

看不懂，那算了。

通杀型组合：（.*？）
括号里是你想要的内容，那就使用这个，后面会代码演示。

正则里有个贪婪还是非贪婪的概念：白话点说，贪婪就是匹配的尽可能长，非贪婪就是匹配符合要求的最短的。

• 眼见为实

pattern = "http://mindhacks.cn/"

mind_pattern_1 = "mind"
mind_pattern_2 = "[m].*?d"
mind_pattern_3 = r"//(.*?)h"
mind_pattern_4 = r"[mind]{4}"

还可以想出各种，都是上面的基本语法的组合

上面是已知匹配信息，想出匹配规则，匹配出规定字符

• 实例:

主观题：
匹配QQ号码:

匹配出手机号码：

匹配出IP：

QQnumber_pattern = '[1-9][0-9]{4,}'

tellnumber_pattern = '0?(13[0-9]|15[012356789]|17[0678]|18[0-9]|14[57])[0-9]{8}'

IPnumber_pattern = '((?:(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))).){3}(?:25[0-5]|2[0-4]\d|((1\d{2})|([1-9]?\d))))'

IPnumber_pattern_2 = '\d+\.\d+\.\d+\.\d+'

个人理解，能匹配出绝大数，但可能还不够完美.

4：代码实例

先介绍个python模块：re

# 假设你对下面这个博客首页的文章的标题感兴趣.
import re
import requests
# 先缩小范围，再在缩小的范围内进行匹配

url_one = "http://www.geekonomics10000.com/author/admin"
html = requests.get(url_one)
response = html.text
#<h3 id="post-967" class="post-title"><a href="http://www.geekonomics10000.com/967" rel="bookmark" title="Permanent Link to 特朗普是极右狂人？其实共和党候选人里，他最温和">特朗普是极右狂人？其实共和党候选人里，他最温和</a></h3>

content = r'h3\sid(.*?)</h3>'

#title="Permanent Link to 特朗普是极右狂人？其实共和党候选人里，他最温和">特朗普是极右狂人？其实共和党候选人里，他最温和</a></h3>

little_title = r'title=.*?>(.*?)</a>'
all_title = re.findall(content, response, re.S)
title_content = re.findall(little_title, str(all_title), re.S)
for one in title_content:
    print(one)
# output
---
别指望灵感，还是要靠汗水 ——“创造性思维”的三个迷信
特朗普是极右狂人？其实共和党候选人里，他最温和
超强记忆力是个邪道功夫
我的新书《智识分子：做个复杂的现代人》
2016新年荐书
美国人说的圣贤之道
---

查看网页源代码：推荐chrome浏览器

# 假设你想匹配首页的课程图片
# -*- coding:utf-8 -*-
# To: regular expression
# Author: wuxiaoshen

import re
import requests
class TestRe(object):
    """
    使用正则表达式抓取imooc课首页网站的图片：并下载至002 JPG文件夹下
    """
    def __init__(self):

        pass

    def download(self):
        url = "http://www.imooc.com/course/list"
        html = requests.get(url)
        response = html.text
        listurl = re.findall(r'http://.+.jpg',response)
        print(listurl)
        i = 0
        for one in listurl:
            with open("002 JPG\\"+str(i)+".jpg","wb") as f:
                cont = requests.get(one)
                print(cont)
                f.write(cont.content)
                i += 1
            f.close()
        pass

if __name__=="__main__":
    download = TestRe()
    download.download()
    pass

4：参考及备注

参考资料：正则表达式

如何练习正则表达式：

1. Notepad++ 文本编辑器 的查找可以使用正则匹配

1461750504276.png

2. 还有在线的正则表达式测试工具
3. chrome 还是正则匹配的插件Regular Expression Checker

关于本人：
国内小硕，半路出家的IT学习者
感兴趣领域：爬虫与数据科学
理念： 持续精进
Github:wuxiaoshen
weibo:乌小小申