终于到了最后一步啦。还记得上一篇文章电影名和磁力链接都到了“快递员”Pipeline手里吗？这一部分我们就让他处理包裹，实现百度网盘下载！
看看最后的效果吧！

实现效果

Selenium

一查便知，Selenium - Web Browser Automation，它可进行网页浏览器的自动化操纵，当然也可以拿来模拟我们的手工操作啦。似乎感觉和……按键精灵、挂机脚本比较类似。
我们需要的工具包括

• Selenium

pip install selenium

安装即可

• Chrome浏览器
• Chromedriver
  2.31版本下载 支持Chrome v58-60

安装好之后大家可以先试一试以下代码，看看效果如何？
(注意把chromedriver.exe放到和run.py同一目录下)

from selenium import webdriver
path = 'chromedriver.exe'
browser = webdriver.Chrome(executable_path=path)
browser.get('http://pan.baidu.com/')

浏览器自动打开百度网盘

快递员Pipeline.py

在该文件中主要需要写两个函数

class DbPipeline(object):
def __init__(self):
    pass
def process_item(self, item, spider):
    pass

一个是初始化，用上述提到的方法来启动网页。
一个是用来处理“货物”，将磁力链接投递到离线下载中。

模拟下载

先来看看我们平时怎么下载吧

步骤1

步骤2

步骤3

步骤4

步骤5

下载成功

我们需要对以上标记的元素进行点击、输入文本等操作完成离线下载。这些元素怎么找？
前面提到的Xpath当然也可以用啦！

然而Selenium支持更多查找元素的方式，比如第一步中的按钮，我们也可以用class这个属性实现查找。

通过class属性查找

chg_field = self.driver.find_element_by_class_name('pass-login-tab').
find_element_by_class_name('account-title')

所以在这一步中，我们可以写出登录网盘和部分离线下载的代码啦。

改进模拟行为

虽然是简单的模拟操纵浏览器，仍然会有许多问题，主要包括下面几点

欲速不达

如果直接试着将上述提到的离线下载的元素堆上去点击，就像这样

不加延时的情况

会有可能报错：找不到想要的元素。为什么？新的网页还没加载好呢！他女朋友都找不到，你让程序去问他儿子在哪上小学合适吗。

验证码

验证码出现在查询磁力链接信息并点下载之后

验证码

所以我们需要判断这个框框是否被用户给点掉了，点掉了再继续执行。
在这里一开始我用的是

verify_locator=(By.XPATH,'//*[@id="downloadVerify"]')
WebDriverWait(self.driver, 20).until_not(EC.presence_of_element_located(verify_locator))

发现即使点掉之后还是会超时，就是presence仍然为True。于是根据观测现象改为

verify_locator=(By.XPATH,'//*[@id="downloadVerify"]')
WebDriverWait(self.driver, 20).until_not(EC.visibility_of_element_located(verify_locator))

即看不到了的话才继续。

违规等错误

违规

然后离线下载的整个框就消失了，所以为了应对这种状况需要每次都尝试点一下这个离线下载的按钮。
另外是可能找不到种子信息。

找不到文件

还有就是丫种子地址出问题，下载的是压缩包什么的，导致选中的文件为空，点下载也点不动。

吃我脑残劈！

由于这里的初衷是尽可能多地下载排行榜中的电影，所以在这里没有选择根据各种情况分类处理，而是选择比较脑残的方式：忽略错误消息，管你那么多，就算你按钮不存在，这几个按钮来回按总能下载到文件吧？所以每个元素的操作都用try except包围起来，报错也不管。
脑残劈倒是挺省事，然而会导致漏网之鱼，即有的电影没有下载成功。不过看着一溜溜的地址输进去，小电影多起来了山朗润起来了水涨起来了太阳的脸红起来了，也很满足啦。

（这张图是有验证码、需要人工输入的情况下，即便这样速度也很快）

总结

Selenium可以当作网页版的 按键精灵 来使用；网页元素的加载需要时间，需要设定Selenium进行等待，等待有多种方式；最容易出错的便是网页元素，有的时候可以选择忽略错误直接脑残模拟。
当然，还有很多缺点，包括

• 脑残的模拟导致漏网之鱼，不过我们仍有办法记录这些漏网之鱼的信息，再来重新下载，就有待后续改进啦。
• send_keys输入文本是真的是输入啊！！一长串文本一个个字符往里蹦。

慢！

• 接着就是由于基于Chrome浏览器模拟，打开网页总是需要耗费一定时间的，可以改用无界面的浏览器PhantomJS。
  最限制速度的就是下载次数过多出现的验证码了，导致整个项目还需要人工操作，也是亟待改进的一点。

下一篇文章将介绍通过Cookies登录+抓包进行离线下载的方法。

本项目代码：
github_douban
过往文章：
网易云音乐评论抓取实验(1)接口获取
Python自动生成简书过往文章链接Markdown格式文本
Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载
Python实现电影排行榜自动网盘下载(3)Selenium离线下载
Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”
Python实现电影排行榜自动网盘下载(1)Scrapy爬虫框架