1. urllib. request 模块
· 版 本
python2 ：urllib2、urllib
python3 ：把urllib 和 urllib2 合并, urllib.request
· 举例：使用内置库urllib中 request 模块下载图片保存到本地
· 常用的方法
· urllib.request.urlopen("网址")，作用：向网站发起一个请求并获取响应
· 字节流 = response.read()
· 字符串 = response.read().decode("utf-8")
· 当需要使用用户代理时，使用语句：urllib.request.Request ("网址"，headers = '字典')
urlopen()不支持重构User-Agent
· 响应对象
· read() 读取服务器响应的内容，数据类型为 bytes类型
· getcode() 返回HTTP的响应码
· geturl() 返回实际数据的URL（防止重定向问题）
2. urllib. parse 模块
· 常用方法
· urlencode(字典)
· quote(字符串)（这个里面的参数是个字符串）
遇到类似带%的网址，可以使用unquote将网址解码
多页面请求示例，设定起始页面与结束页面，采用面向过程：
多页面请求示例，设定起始页面与结束页面，采用面向过程函数形式：
多页面请求示例，设定起始页面与结束页面，采用面向对象形式：
· 请求方式
· GET 特点：查询参数在URL地址中显示
· urllib 模块发送POST请求
检查--> Network --> Form Data 查看Post访问 url 时携带的具体数据
· 在Request方法中添加data参数
urllib.request.Request (url, data = data, headers = headers)
· data : 表单数据以bytes类型提交，不能是string
urllib模块发post请求示例：（有道在线字典实例）
urllib 返回的response是个对象
print(type(resp)) # <class 'http.client.HTTPResponse'>
# 获取HTTP协议版本号(10 for HTTP/1.0, 11 for HTTP/1.1)
print(resp.version)
# 获取响应码
print(resp.status)print(resp.getcode())
# 获取响应描述字符串
print(resp.reason)
# 获取实际请求的页面url(防止重定向用)
print(resp.geturl())
# 获取特定响应头信息
print(resp.getheader(name="Content-Type"))
# 获取响应头信息,返回二元元组列表
print(resp.getheaders())
# 获取响应头信息,返回字符串
print(resp.info())
# 读取响应体
print(resp.readline().decode('utf-8'))
print(resp.read().decode('utf-8'))
3. requests 模块
· 安 装
· pip install requests
· 在开发工具中安装
· request常用方法
· request.get(网址)
· 举例：使用requests第三方模块下载图片保存到本地
· 响应对象response的方法
· response.text 返回unicode格式的数据（string）,text是requests这个第三方模块自己推测将bytes类型转换成字符串类型，可能出现乱码
· response.content 返回字节流数据（二进制）是网站上未经任何处理下载下来的，数据类型是bytes
· response.content.decode('utf-8') 手动进行解码
· response.url 返回url,查看实际请求的url是否和自己申请的url一致，
· response.encode() 编码
· requests模块发送 POST请求
requests第三方库发送Post请求示例：
Tips: 将字符串快速转换为字典，按CTRL+R，找出所有符合格式要求的进行替换
· Cookie
· Cookie：通过在客户端记录的信息确定用户身份
HTTP是一种无连接协议，客户端和服务器交互仅仅限于请求/响应过程，结束后断开，下一次请求时，服务器会认为是一个新的客户端，为了维护它们之间的连接，让服务器知道这是前一个用户发起的请求，必须在一个地方保存客户端信息
Cookies作用：反爬
· Session
· Session: 通过在服务端记录的信息确定用户身份,保持会话
12306突破图形验证码案例：
正式代码如下：
用微信或者QQ截图工具，提取坐标值，并输入，获得验证成功结果：
· 处理不信任的SSL证书
什么是SSL证书？
· SSL证书是数字证书的一种，类似于驾驶证、护照和营业执照的电子副本。因为配置在服务器上，也称为SSL服务器证书。
SSL证书就是遵守SSL协议，具有服务身份验证和数据传输加密功能
测试网站 https://inv-veri.chinatax.gov.cn/ （verify=False）
· IP设置代理
· 代理ip
爬虫去爬取别的网站数据的时候。如果单位时间内爬取频次过高 或者一些其他的原因，被对方识别出是爬虫后
· 怎么解决？
换个ip 通过代理ip来解决 反爬的策略
作用
1 隐藏真实的ip
2 反爬策略
代理ip的匿名度
1 透明 服务器知道了你使用了代理Ip 也知道你的真实ip
2 匿名 知道使用了代理ip 不知道真实的ip
3 高匿 不知道使用了代理Ip 也不知道真实的Ip
cmd - ipconfig 查询的是内网IP
https://www.ipip.net/ 可查询当前外网IP地址
获取IP
https://h.wandouip.com/user/login
第一步 注册账号、登陆
第二步 点击ip白名单 (添加IP白名单，为自己的外网的ip)
第三步 点击工具 -- 提取api
案例：
1. 12306查票
先登录12306网站，然后填写好出发地，目的地，点击查询
在开发者模式Network中找到query, 发现是json格式的字符串，并且各个列车信息是在字典data下result下列表中
需求：查询出符合出发地，目的地，对应座位类型有票的车次，以及有软卧一等卧票的车次号
比如下图T110 软卧一等卧有6张票
代码如下：
注释掉的代码是为了定位每一条列车信息中，具体哪一列的序号，方便获得指定列中的数据，并作筛选，比如这边我们要找软卧一等卧这一栏的座位数量，
是在每一条列车信息中，以 ‘ | ’， 分隔开形成的数组中的序号为23的字符串，即 sep_list [23]
而 sep_list [3] 就是该列车的代号
执行代码输出结果为：T110 有票，并且显示有6张软卧一等卧票，符合我们的需求
