By 一页编程
下面我们介绍爬取网页的一般套路，或者说是流程。什么是一般套路呢？其实通用的一组代码，它可以准确的可靠的爬取网页上的内容。
我们在用requests库进行网页访问的时候，经常用get函数，比如：
requests.get(url)
但是这样的语句并不是一定成立的，因为网络连接有风险，所以这样的语句，它的异常处理很重要。
连接异常
Requests库支持6种常用的连接异常。
| 异常 | 说明 |
|---|---|
| ConnectionError | 网络连接出现了错误 |
| HttpError | 在HTTP协议层面出现的错误异常 |
| URLRequired | URL缺失造成的异常 |
| TooManyRedirects | 超过了最大重定向次数时产生的异常 |
| ConnectionTimeout | 与服务器连接超过一个预定时间而产生的异常 |
| Timeout | 发起URL请求到获得URL请求内容过程中，超过了预定时间产生的异常 |
- ConnectionError表示的是，在用requests库进行访问的时候，如果网络连接出现了错误，就会抛出这样的异常。比如我们在对url做dns查询的时候，如果查询失败或者服务器的防火墙，拒绝连接，那么requests库就会抛出这样的异常。
- HttpError，指的是在http协议层面出现的错误异常。
- URLRequired异常,指的是我们在对url访问的时候，这个url缺失造成的异常。
- TooManyRedirects异常，指的是当用户访问的url进行重定向，而重定向的次数，超过了requests库要求的最大重定向次数时产生的异常。这个经常指我们对一些复杂的链接进行访问的时候，会出现的错误。
- ConnectionTimeout异常,指的是在访问远程服务器的时候，由于与服务器连接超过一个预定时间而产生的异常。
- Timeout异常指的是，发起url请求到获得url请求内容过程中，超过了约定时间产生的异常
ConnectionTimeout跟Timeout两个异常之间是有一定的区别的，Timeout是指发出url请求到获得内容整个过程的超时异常。而ConnectionTimeout仅指与远程服务器连接过程产生的超时异常。
raise_for_status()方法
理解Response类非常重要，Response这样的一个对象返回了所有的网页内容，那么它也提供了一个方法，叫raise_for_status()，这个方法是专门与异常打交道的方法，该方法有这样一个有趣的功能，它能够判断返回的Response类型状态是不是200。如果是200，他将表示返回的内容是正确的，如果不是200，他就会产生一个HttpError的异常。
那这个方法有什么用呢？
那我们来看一下我们的通用代码框架：
>>> def getHTMLText(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
这个代码中我们用r.raise_for_status()方法，它就可以有效的判断网络连接的状态。如果网连接出现错误，那么它就会用try-except来获取一个异常。而这个异常，在异常部分，我们用了一句 return “产生异常” 来表示，我们捕获到了这个异常，所以这样一个通用代码框架可以有效的处理，我们在访问或爬取网页过程中，它可能出现的一些错误，或者是网络不稳定造成的一些现象。
