007 - Python简单爬虫 - 正则表达式

用正则表达式匹配字符串,筛选出所需要的内容,加上简单网络访问代码,实现一个最简单的爬虫。

目标网页:

https://tieba.baidu.com/p/3205263090

实现一个图片批量下载的功能。把这个页面上发表的图表全部下载下来。

虽然拿到这个页面上的图片有多种方式,我们练习的是用Python+正则表达式 来下载图片。

一、获取网页源代码

直接上代码:

import urllib
page = urllib.urlopen('https://tieba.baidu.com/p/3205263090')
print page.read()

运行一下,就是看到控制台上打印出来的网页的代码。
解释一下:urllib是Python提供的基础网络访问模块。urlopen() 创建一个表示远程url的类文件对象,然后可以像本地文件一样,操作这个类文件对象来获取远程数据。
read() 方法是读取这个文件,打印出来就是所要访问网页的源代码。

二、用正则表达式匹配出所需要的图片URL

通过chrome右键检查 -- Elements 查看图片对应的代码:

找到这些图片url的共同特点(页面上还有其他的图片),是src=后面一串字符到 .jpg为止,如果加上列多特征 pic_ext="jpeg",这样可以把跟页面上的其他图片区别出来。

src="([.*\S]*\.jpg)" pic_ext="jpeg"

写出正则表达式,.代表不包括\n的任意字符,*表示有多个字符,\S表示非空字符(防止向后包含空字符匹配了很长的字符串),()表示我们所需要匹配出来的内容。

reg = r'src="([.*\S]*\.jpg)" pic_ext="jpeg"'  
imgurls = re.findall(reg, html)   #匹配出所有url

#遍历
for imgurl in imgurls:
     print imgurl

三、保存下载图片

urlretrieve() 方法直接将远程数据下载到本地。

#coding=utf-8
import re
import urllib


# 获取网页源代码的方法
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

html =  getHtml('http://tieba.baidu.com/p/3205263090')

reg = r'src="([.*\S]*\.jpg)" pic_ext="jpeg"'
imgurls = re.findall(reg, html)  #用正则匹配到的图片路径的集合

x = 1
for imgurl in imgurls:
    print imgurl  # 打印查看一下是不是 每个图片的URL
    urllib.urlretrieve(imgurl, '你机器上要保存图片的路径/%s.jpg' % x)

    print "正在下载第 %d 张"%x
    x +=1

快去看一下下载的图片吧。



你可能发现图片下载的并不快,有网络原因,也有正则表达式匹配的原因。这段小代码只是一个检验,继续学习吧,后面会有更简单、快速的方式,好用的第三方库requests,xpath可以更快速定位到你需要的内容。

==============
练习问题:
有同学看完上面代码,马上想尝试另一个网站(网页)的图片爬取,这是一个很好的学习思路和方法。我们来看一下,花瓣网

http://huaban.com/pins/1120072731/
  1. 这个页面上图片很多,你先要确定要抓取哪网页什么地方的图片
    当然可以是页面所有图片,也可以是网页下部的瀑布流布局的图片。(实际上以后这一步就是确定,你需要抓取的数据字段)
  2. 找到数据(图片)对应的源代码进行分析,这篇文章的方式就是写一个正则表达式(以后会使用如BeautifulSoup, XPath)
    不要“右键 -- 源代码”去搜索找到对应的内容,使用Chrome -- 右键 -- 检查 ,就是定位到 网页元素对应的代码。
  3. 检查审核
    这里要检查,1)图片src对应的是不是一个完整URL(因为可以用相对文件引用的方式),如果不是要补全。2)检查 正则表达式是不是能“准确特征匹配”-- 就是用正则表达式匹配到的都是你所需要的内容。

分析和对比几处图片,要想匹配出图片的URL

<img src="([.*\S]*)"

检查一下,这个正则匹配到的页面所有图片URL。想一想如果是某一个区域,某一个类型的图片,正则要怎么写。

总结一下:用正则就是要找到你要数据的共同特征,而且要能与其他数据区别开来。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,599评论 18 139
  • 正则表达式到底是什么东西?字符是计算机软件处理文字时最基本的单位,可能是字母,数字,标点符号,空格,换行符,汉字等...
    狮子挽歌阅读 2,136评论 0 9
  • 20170531 这几天重新拾起了爬虫,算起来有将近5个月不碰python爬虫了。 对照着网上的程序和自己以前写的...
    八神苍月阅读 14,142评论 3 44
  • 这学期,好像至少一个师弟和一个师妹跟我说,很高兴认识你。现在年轻人都这么打招呼?哈哈哈哈哈哈但还是挺高兴的。
    去社阅读 206评论 0 0
  • 原来你是我最想留住的幸运。 让我捧着脑袋瓜子好好想想和你认识多久了,7.25叭和我一起打王者叭记得你用的猴子然后呢...
    小逸睡不醒阅读 1,538评论 0 0