爬虫之urllib库的使用

昨天在了解了网页基本的请求和响应之后,今天我们来了解下python内置HTTP请求库urllib库的使用。

首先什么是库?

简单的说就是别人写好的东西,你拿来调用就可以实现基本的操作。比如电视你只用看,不用知道他是如何成像的。

urllib库之request(用来模拟HTTP请求)模块

request的第一个方法urlopen()

我们以淘宝为例写上这样一段代码:

read()是返回得到的内容,decode('utf8')是编码格式。

返回的结果如下:

如果我们不想获取页面,只想获取请求的状态码或者头信息只需要

print(html.status)获取状态码,print(html.getheaders())获取头信息,可能你会说那莫多方法我怎么知道他有什么方法,此时只需要print(dir(html))一下,所有的方法,属性尽收眼底。那我怎么知道他是干什么的呢?help()一下就知道。

接下来我们来说一下urlopen()方法的参数:

我们利用上面说的去看一下有什么参数:

得到如下结果:

卧槽?怎么全英文???无奈,苦逼的我只好打开谷歌翻译。。。

data参数:

data参数是干什么的?我们知道我们在登录的时候的会填写账号密码,那么我们模拟登录的时候也要填写,这个参数就是做这个的!值得注意的是当我们添加了这个参数之后请求方式就不再是GET,而是POST请求。并且data参数是字节流编码格式我们需要转化一下。

httpbin.org/post是一个请求测试网站,如下我们可以看到我们传递的参数已经在里面了。

timeout参数:

tomeout参数是设置超时时间的,如果超出这个时间未得到响应就会抛出超时异常。下面我们来练习一下:

iisinstance()函数用来判断是否是超时,socket.timeout就是超时异常,而e.reason是捕捉的异常,做一个判断。

结果如下:

其他参数用到的时候再说,目前不需要了解吧。

request的第二个方法Request()

同样以淘宝为例:

结果和上面的结果是一样的,我们可以发现只是请求的对象发生了改变,这有什么用了?这样会让我们更灵活的添加参数或者配置,没什么其他卵用,来说一下Request的参数吧。

help一下:

url,data和上面的一样,headers表示请求头,是一个字典,我们在爬取网站的时候通常会加上一个User-Agent参数,防止被识别为爬虫,修改它,伪装成浏览器。origin_reg_host是指请求的ip或者host,unverifiable是是否有抓取的权限没有为True,否者是False,mothod为请求方式。

我们试着去添加多个参数:

结果:

也可以用方法去添加,这个就自己去试吧。

error模块

1,URLError类

昨天我们导入包的方式感觉很烦,每次写都会很长

想要变得简单点可以这样写:

随便输入一个网址,并没有直接报错。

2,HTTPError类(针对HTTP请求错误的类,使用方式和上面的一样)

结果:

reason:返回错误原因

code:返回状态码

headers:返回请求头信息

这里只针对爬虫用到的来说一下。

parse模块

paese模块总的来说就是对url的操作,各种解析和合并等

拆分的有:

urlparse()

urlsplit()

结果:

urlsplit()和urlparse()一样,不同是是urlsplit()的结果将parsms合并到了path里

合并的有:

urlunparse()合并的列表长度必须为6个

urlunsplit()合并的列表长度变成了5个

结果:

urlunsplit()的写法也一样只是变成了长度变成了5。

序列化和反序列化(我的理解是转化成符合某种格式)

urlencode():将字典转化为get请求的编码格式

parse_qs():将GET请求的参数转化成字典

结果 :

当url中有汉字时我们需要转化成url的编码格式quote()转化回来unquote()

结果:

其实上面讲的有三个模块,request请求模块,parse对url的处理模块和error异常处理模块。

大家也可以关注我的微信公众号python入门到放弃

点我关注:微信公众号

完。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,590评论 18 139
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,856评论 6 13
  • iOS网络架构讨论梳理整理中。。。 其实如果没有APIManager这一层是没法使用delegate的,毕竟多个单...
    yhtang阅读 5,160评论 1 23
  • 经过友好协商,我和她已达成共识,选择友好分手,结束这段并不合适的感情。 我们都努力尝试了,喜欢并不是感情维系的全部...
    深黑色阅读 212评论 0 0
  • 【训练片段1】 姓名:潘淳森 导师:孙薇淇 【I理解部分】: 本拆通过案例分析,形象地介绍了结构化思考的方式~~借...
    静心第一阅读 214评论 0 0