BeautifulSoup
首先，beautifulsoup()解析的对象可以是一段字符串，或者文件句柄，例如：
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))
soup = BeautifulSoup("data")
而其返回一个beautifulsoup对象soup.
如果想取得一对标签之间的文本内容，可以使用get_text()方法,而要取得标签内的参数值则要用get('参数名')的方法，这一方法常用于取链接。如果我们想获得一个父级标签下所有子标签间的文本信息，我们需要用到的方法是stripped_strings,这个方法还能自动剔除多余的空白内容（空格和空行），并返回一个序列。一般使用list()将这个序列转化成列表。
soup.select()有许多种方法可以查找到想要的元素（http://beautifulsoup.readthedocs.io/zh_CN/latest/）
Requests
Requests 是一个基于 urllib库的包，requests.get()里可传入一个url，对服务器进行一次request,同时会返回一个response对象，其存储了服务器响应的内容。
r.status_code #响应状态码
r.raw #返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read() 读取
r.content #字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体，会自动根据响应头部的字符编码进行解码
r.headers #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None
#*特殊方法*#
r.json() #Requests中内置的JSON解码器
r.raise_for_status() #失败请求(非200响应)抛出异常
r.encoding # r.text的编码，可以修改
用requests爬取需要登陆验证的页面：
headers={
'user-agent':'',
'cookie':,
}
另外，requests的headers里i可以添加一个proxies参数来添加代理：
proxy_list={'','','',}
proxy_ip=random.choice(proxy_list)
proxies = {'http':proxy_ip}
requests.post(url,headers=headers,proxies=proxies)
