urllib库中主要含有网络请求的方法,也是爬虫必备的基础方法。
urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
其中url是必须的参数。data是请求体(在post请求中需要使用),timeout是超时时间。
使用urllib库写成第一个爬虫文件
import urllib2
request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()
保存为firstTest.py 后,在命令行中运行
python firstTest.py
post请求的示例
value = {"key":"value","key2":"value2"}
data = urllib.urlencode(value)
request = urllib2.Request("http://www.baidu.com",data)
其中value便是post请求中的请求体了。
get求请求示例
value = {"key":"value","key2":"value2"}
data = urllib.urlencode(value)
url = "http://www.baidu.com" + "?" +data
request = urllib2.Request(url)
只需要拼接地址即可。