问题引入
日常在编写一些自用爬虫时，通常为了方便是直接从浏览器的开发者工具中调取 cookies 字符串，然后再进行字典的转换供 requests 库使用。
class transCookie:
def __init__(self, cookie):
self.cookie = cookie
def stringToDict(self):
itemDict = {}
items = self.cookie.split(';')
for item in items:
key = item.split('=')[0].replace(' ', '')
value = item.split('=')[1]
itemDict[key] = value
return itemDict
if __name__ == "__main__":
cookie = input('please input cookies str: ')
trans = transCookie(cookie)
print(trans.stringToDict())
但如果把程序给没有开发基础的人使用时，他们首先要打开浏览器的开发者工具，然后再切换到 Network 选项卡，再分析请求来获取 cookies，最后进行转换，这一过程是十分漫长的，也会让第一次接触的人望而生畏，甚至对一些门外汉而言，会觉得你写的程序未免也太过低端，还需要这么多前置条件，不能够直接上手。
问题解决
今天在给一个朋友写爬虫脚本时，就突然考虑到了这个用户友好的问题，思索一番之后觉得还是直接让人输入用户名密码，多发一个登陆请求来在程序里直接拿到 cookies 就很舒服了。
import requests
import random
url = 'http://jkjmjzs.jinke.com/weixin/wxAction2.ashx?t=LD&rand=%s' % random.random()
payloads = {
'LoginID': 'username',
'Password': 'password',
'RememberPwd': 0
}
response = requests.post(url, data = payloads)
但是在直接调用 login 接口时，服务器端总是返回请求超时。
首先想到的是完善 headers 的信息，于是添加如下参数：
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Referer': 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
}
response = requests.post(url, data = payloads, headers = headers)
结果依然不理想，仍然是服务器超时，这期间额外添加了更多的 headers 头部信息，诸如 Host、Origin、Content-Type 等，但仍然没有达到想要的效果。
在仔细观察请求的往复后，发现在发送 Login Post 时，已经携带了两个字段的 cookies 信息，一时之间没有想通它们是从什么时候被携带进入浏览器的，但隐隐觉得可能这就是不被服务器识别的关键之处。
其实仔细一想就很清楚，在提交登录表单之前，只与服务器有过一次交互，就是请求登录页面，验证之后发现果然如此：
可以清晰的看到，Reponse Headers 中，Set-Cookie 一栏有相应的 token 设置。
于是乎流程就很明朗了，要先请求一次登录页面，拿到服务器端要求设置的 cookies 之后，放置在登录接口中，再将原 cookies 与登录接口返回的 cookies 进行合并，后续的 requests 请求只需要加上拼接好的 cookies 即可正常的进行数据获取。
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Referer': 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
}
url = 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
response = requests.get(url)
cookies = response.cookies.get_dict()
print(cookies)
url = 'http://jkjmjzs.jinke.com/weixin/wxAction2.ashx?t=LD&rand=%s' % random.random()
payloads = {
'LoginID': 'username',
'Password': 'password',
'RememberPwd': 0
}
response = requests.post(url, data = payloads, headers = headers, cookies = cookies)
cookies.update(response.cookies.get_dict())
print(cookies)
问题总结
由以上分析可以得到一些经验教训，即在某些前置页面的请求时，可能会返回一些对后续请求有用的关键信息，这些信息不仅仅存在于返回的数据中，也有一定可能存在于 cookies 中，在后续的爬虫编写中，遇到类似问题可以考虑从这方面进行着手解决。
除此之外，还有以下几点值得注意：
- 在服务器返回异常时，务必要完善
headers的信息，就目前的爬虫编写经验来看，User-Agent与Referer是比较常用的，许多后台都会对它们进行校验，当然遇到特殊情况可一步到位，即把浏览器中请求的 headers 信息全部写入程序中
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Referer': 'http://jkjmjzs.jinke.com/weixin/wxLogin.aspx'
}
- 再者，在日常代码的编写中，为了使得程序可读性更高，通常会主观臆断去省略一些参数，如需要传递的
payloads表单，一些没有值的key会被直接剔除掉，然而这对不同语言承载的后端来说，也会引发与预期不符的结果返回，所以保险起见，还是原样照搬开发者工具中所拦截的所有请求参数，空则赋空值
payloads = {
'Word': '',
'Status': '10',
'MID': '',
'MEnable': '1',
'PageSize': '13',
'PageIndex': page,
'Days': '',
'Date1': '',
'Date2': '',
'Sort': ''
}
