上一篇文章提到了使用Selenium模拟操作进行下载的一些缺点，包括文本框输入令人抓狂等等，这一篇文章将介绍使用Cookies免登录、抓包分析来进行下载、查询等功能。
成功的效果图
喂喂！你丫这也算司机？？？？？
且慢且慢，这一条下载成功看似软弱无力宛若咸鱼，实则大智若愚，是通过Python发送数据包下载而来，并不是常人的操作，可大有所为！
本文分为以下几个部分
-
自动登录——Cookies
自动登录的原理与抓包分析 -
Python自动登录网盘
自动登录部分的测试 -
查询磁力链接、下载与状态查询抓包
后续部分的抓包分析 -
整体实现与缺点
整体代码及需要改进的地方
自动登录——Cookies
Cookie,有时也用其复数形式 Cookies,指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。
自动登录
这是百度登录界面，勾选之后我们每次输入pan.baidu.com都能自动进入到自己的网盘界面，都是Cookies
的功劳啦。所以我们只要拿到登录之后的Cookies，不就直接告诉网站“就是你大爷我！”，进而实现免登录了吗？
Cookies的获取
登陆之后F12控制台切换至Network开始抓包，新建一个磁力链接并下载，我们来观察一下抓到的包。
抓到的包
嘿嘿，右下角的数据（上面的Query String Parameters则是从POST的URL中提取出来的）已经告诉我们这个query_magnetinfo是如何查询磁力链接信息的了，构造一个包，包含磁力链接和保存地址save_path即可。然而上面的bdstoken和logid需不需要呢？我实验的过程中费了好大的周折给搞出来，最后却发现并不需要这两个玩意儿QAQ！所以大家测试其他网站的时候只加上自己觉得必要的，失败再接着加参数就好。
接着看上面的信息，
Cookies:我才是主角啊！
我们就把这一大段文本给复制下来备用。
（为什么非要是这个包的Cookies呢？……因为发现后续抓的包Cookies都是它……）
Python自动登陆网盘
先构造一个Header
header
然后发送出去查看效果
# 登录需要POST一个包，其中包含帐号信息的Cookie
def login(self):
self.loginurl="http://pan.baidu.com/disk/home"
try:
req = urllib.request.Request(self.loginurl, headers=self.headers)
sourcecode = urllib.request.urlopen(req)
except Exception as e:
print('Error ', str(e))
else:
#如果出现该字眼说明登录成功
htmlcode=(sourcecode.read().decode())
print(htmlcode)
if(htmlcode.find('initPrefetch')!=-1):
print('OK!')
返回的源代码 说明登陆成功
显示的是登录成功之后的网盘部分的Html代码，说明登录成功啦。
查询磁力链接、下载与状态查询抓包
我们接着来抓包了哈。和上面一小节是同样的方法，需要关注的地方包括：
- POST的URL(即图中的Query String Parameters)
- 包的数据(Form Data)
- 网页的回应
依次查看自己觉得可疑的包，下面我们逐个来分析啦。
query_magnetinfo 查询磁力链接
上一小节query_magnetinfo的Response如下：
网页中返回的Response
Python中返回的消息
还有文件大小呢！
size
query_magnetinfo包的Response
Add_task 添加下载任务
比较重要的信息已经用红框标注出来嘞
Request
主要需要确定selected_index，我们需要下载哪些文件呢？
嘿嘿，上面不是有size返回给我们了吗！大的就是视频文件了！
添加任务成功的情况：
成功会返回task_id
添加失败：
咳咳，你懂的
需要验证码
总之，返回task_id就是成功了！
list_task和query_task
这两个感觉是差不多的包，返回的信息都是关于任务进度的信息。
list_task
query_task（还记得add_task里返回的task_ids吗）
于是我找了不同类型的任务观察query_task(list_task也行)返回的信息。
这是界面上显示的信息
这是包里面返回的信息
嗯！就是说Status为0就是成功了！
整体实现与缺点
整体代码在这里！
baidudisk_github
不想点开的就看下面啦。
#! -*- coding:utf-8 -*-
# 本模块用来离线下载资源到网盘
import urllib.request
import urllib.parse
import json
import execjs
class bdsaver:
def __init__(self,cookie):
self.cookie = cookie
self.headers = {
'Host': 'pan.baidu.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Referer': 'http://pan.baidu.com/',
'Cookie': self.cookie,
'Connection': 'keep-alive'
}
# 登录需要POST一个包，其中包含帐号信息的Cookie
def login(self):
self.loginurl="http://pan.baidu.com/disk/home"
try:
req = urllib.request.Request(self.loginurl, headers=self.headers)
sourcecode = urllib.request.urlopen(req)
except Exception as e:
print('Error ', str(e))
else:
#如果出现该字眼说明登录成功
htmlcode=(sourcecode.read().decode())
print(htmlcode)
if(htmlcode.find('initPrefetch')!=-1):
print('OK!')
def query(self,magneturl):
self.magneturl=magneturl
self.headers = {
'Host': 'pan.baidu.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Referer': 'http://pan.baidu.com/disk/home?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0',
'Cookie': self.cookie,
'Connection': 'keep-alive',
'Pragma': 'no - cache',
'Cache - Control': 'no - cache',
}
self.queryurl = 'http://pan.baidu.com/rest/2.0/services/cloud_dl?channel=chunlei&web=1&app_id=250528&clienttype=0'
self.data ={
'method': 'query_magnetinfo',
'app_id': '250528',
'source_url':self.magneturl ,
'save_path': '/',
'type': '4'
}
req = urllib.request.Request(self.queryurl, headers=self.headers, data=urllib.parse.urlencode(self.data).encode(encoding='UTF8') )
sourcecode = urllib.request.urlopen(req)
result=(sourcecode.read().decode('unicode_escape'))
print(result)
result=json.loads(result)['magnet_info']
download_list=''
for i in range(len(result)):
#文件大于50MB
if (int(result[i]['size'])>1024*1024*50):
download_list=download_list+str(i+1)+','
if download_list!='':
return download_list
else:
return '1'
def save(self,selidx):
# self.queryurl = 'http://pan.baidu.com/rest/2.0/services/cloud_dl?channel=chunlei&web=1&app_id=250528&bdstoken=efbd0c8c5eb658ea804bea857c9ad213&clienttype=0'
self.queryurl = 'http://pan.baidu.com/rest/2.0/services/cloud_dl?channel=chunlei&web=1&app_id=250528&clienttype=0'
self.data = {
'method': 'add_task',
'app_id': '250528',
'save_path': '/',
'selected_idx': selidx,
'task_from': '1',
'source_url':self.magneturl ,
# 't':'1501251100480'
}
req = urllib.request.Request(self.queryurl, headers=self.headers,
data=urllib.parse.urlencode(self.data).encode(encoding='UTF8'))
sourcecode = urllib.request.urlopen(req)
print(sourcecode.read().decode('unicode_escape'))
if __name__ == '__main__':
#填入自己截获到的cookies
bdtest = bdsaver(cookie='')
bdtest.login()
dllist=bdtest.query(magneturl='magnet:?xt=urn:btih:459E0DD6DCE56845BE3C72368797481F0B8C0216&xl=3391547763&dn=%E7%94%9F%E5%8C%96%E5%8D%B1%E6%9C%BA%E7%B3%BB%E5%88%97%E4%B8%89%E9%83%A8+%E7%94%9F%E5%8C%964%E9%A2%84%E5%91%8A%E7%89%87')
bdtest.save(dllist)
相比上一部分文章的Selenium，优点自然是再也不用那么慢的输入文本了，也不用管它页面有没有跟上速度，但缺点却依然还在！那就是万恶的验证码！
不过！似乎百度网盘的客户端并不需要验证码，于是又一个大胆的想法萌生了……
欢迎关注下一篇文章：
Python实现电影排行榜自动网盘下载(番外)Pywinauto操纵网盘客户端批量离线下载
(番外篇)Python操纵网盘客户端批量离线下载小电影
过往文章
网易云音乐评论抓取实验(1)接口获取
Python自动生成简书过往文章链接Markdown格式文本
Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载
Python实现电影排行榜自动网盘下载(3)Selenium离线下载
Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”
Python实现电影排行榜自动网盘下载(1)Scrapy爬虫框架
