1.初步认识
// 代码1
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()
// 代码2
import urllib2
request = urllib2.Request("http://www.baidu.com") //url请求
response = urllib2.urlopen(request) //打开网页
print response.read() //读取响应信息
说明：
- 获取url请求：调用urllib2库里的urlopen方法，协议为http请求
- urlopen函数：urlopen( url, data, timeout)
- url：网址
- data：参数
- timeout：超时时间
- 返回响应信息：response.read()
2.数据传送方式—POST&GET
1.POST 相对比较安全，参数信息不会全部显示在网页上，需要传递参数，可以用data传递
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"} //注意到这个写法
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data) //参数以data变量传递
response = urllib2.urlopen(request)
print response.read()
2.GET 相对不安全，将参数信息暴露在链接上
import urllibimport urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data //注意到这块有一个问号
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()
3.参数信息
1.Headers头部信息
[图片上传中。。。（1）]* User-Agent：请求身份
referer：”反盗链“ ——可以知道该网页是从哪个链接点击进来的（也就是网页返回的地方）
Accept：指定客户端可接收的内容类型（顺序为接收端接受的次序）
Accept-Language：HTTP浏览器返回页面信息优先选择的语言
Acceot-Charset：浏览器所接受的编码集
Accept-Encoding：客户端浏览器所允许的压缩格式
说明：允许服务器将输出内容发送到客户端之前进行压缩，节约带宽Content-Type：【使用REST接口时】确定页面解析方式——一般在post提交时使用
使用RESTful活SOAP服务时，服务器拒绝访问application/xml：
-
Connection：是否持久连接
- Keep-Alive（或HTTP1.1）：持久连接。
- 如何实现：web服务器返回客户端http头信息中发送一个Content-Length
Cookie：HTTP发送请求时，同时会传递cookie中的内容
2.设置Headers
import urllib
import urllib2
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'username' : 'cqc', 'password' : 'XXXX' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
page = response.read()
另外，若一些网页设置防盗链的设置，可以设置referer来应对
headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
'Referer':'http://www.zhihu.com/articles' }
3.Proxy代理设置
考虑到这么一个情况，一些网页统计IP地址访问次数，若一段时间内，一个IP访问次数太多，这个IP就会被锁定，因此需要设置代理迷惑网页
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
4.Timeout设置：设置等待时间
这里需要注意，urlopen(url, data, timeout)，参数为省略参数，即，可能会有多个data参数传递，因此在传递url，timeout（data参数为空时）参数时，需要写明timeout=10，而非仅仅是一个10
import urllib2 // data为空
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
import urllib2 //data不为空
response = urllib2.urlopen('http://www.baidu.com',data, 10)
5.DebugLog：打开Debug Log
import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.baidu.com')
4HTTP请求方式
HTTP请求有：POST、GET、HEAD、PUT、DELET、OPTIONS
- HEAD：相当于GET（仅包含头信息）
- PUT：类似于POST
区别：PUT指定资源存放位置，POST的资源存放位置由服务器决定 - OPTION：获取当前URL所支持的方法
import urllib2
request = urllib2.Request(uri, data=data)
request.get_method = lambda: 'PUT'
response = urllib2.urlopen(request)
