终于到了最后一步啦。还记得上一篇文章电影名和磁力链接都到了“快递员”Pipeline手里吗？这一部分我们就让他处理包裹，实现百度网盘下载！
看看最后的效果吧！
实现效果
Selenium
一查便知，Selenium - Web Browser Automation，它可进行网页浏览器的自动化操纵，当然也可以拿来模拟我们的手工操作啦。似乎感觉和……按键精灵、挂机脚本比较类似。
我们需要的工具包括
- Selenium
pip install selenium
安装即可
- Chrome浏览器
- Chromedriver
2.31版本下载 支持Chrome v58-60
安装好之后大家可以先试一试以下代码，看看效果如何？
(注意把chromedriver.exe放到和run.py同一目录下)
from selenium import webdriver
path = 'chromedriver.exe'
browser = webdriver.Chrome(executable_path=path)
browser.get('http://pan.baidu.com/')
浏览器自动打开百度网盘
快递员Pipeline.py
在该文件中主要需要写两个函数
class DbPipeline(object):
def __init__(self):
pass
def process_item(self, item, spider):
pass
一个是初始化，用上述提到的方法来启动网页。
一个是用来处理“货物”，将磁力链接投递到离线下载中。
模拟下载
先来看看我们平时怎么下载吧
步骤1
步骤2
步骤3
步骤4
步骤5
下载成功
我们需要对以上标记的元素进行点击、输入文本等操作完成离线下载。这些元素怎么找？
前面提到的Xpath当然也可以用啦！
然而Selenium支持更多查找元素的方式，比如第一步中的按钮，我们也可以用class这个属性实现查找。
通过class属性查找
chg_field = self.driver.find_element_by_class_name('pass-login-tab').
find_element_by_class_name('account-title')
所以在这一步中，我们可以写出登录网盘和部分离线下载的代码啦。
改进模拟行为
虽然是简单的模拟操纵浏览器，仍然会有许多问题，主要包括下面几点
欲速不达
如果直接试着将上述提到的离线下载的元素堆上去点击，就像这样
不加延时的情况
会有可能报错：找不到想要的元素。为什么？新的网页还没加载好呢！他女朋友都找不到，你让程序去问他儿子在哪上小学合适吗。
所以，我们要等！
这里用到的等待方法，学习的是这篇博文
三种等待方式的教程
验证码
验证码出现在查询磁力链接信息并点下载之后
验证码
所以我们需要判断这个框框是否被用户给点掉了，点掉了再继续执行。
在这里一开始我用的是
verify_locator=(By.XPATH,'//*[@id="downloadVerify"]')
WebDriverWait(self.driver, 20).until_not(EC.presence_of_element_located(verify_locator))
发现即使点掉之后还是会超时，就是presence仍然为True。于是根据观测现象改为
verify_locator=(By.XPATH,'//*[@id="downloadVerify"]')
WebDriverWait(self.driver, 20).until_not(EC.visibility_of_element_located(verify_locator))
即看不到了的话才继续。
违规等错误
违规
然后离线下载的整个框就消失了，所以为了应对这种状况需要每次都尝试点一下这个离线下载的按钮。
另外是可能找不到种子信息。
找不到文件
还有就是丫种子地址出问题，下载的是压缩包什么的，导致选中的文件为空，点下载也点不动。
吃我脑残劈！
由于这里的初衷是尽可能多地下载排行榜中的电影，所以在这里没有选择根据各种情况分类处理，而是选择比较脑残的方式：忽略错误消息，管你那么多，就算你按钮不存在，这几个按钮来回按总能下载到文件吧？所以每个元素的操作都用try except包围起来，报错也不管。
脑残劈倒是挺省事，然而会导致漏网之鱼，即有的电影没有下载成功。不过看着一溜溜的地址输进去，小电影多起来了山朗润起来了水涨起来了太阳的脸红起来了，也很满足啦。
（这张图是有验证码、需要人工输入的情况下，即便这样速度也很快）
总结
Selenium可以当作网页版的 按键精灵 来使用；网页元素的加载需要时间，需要设定Selenium进行等待，等待有多种方式；最容易出错的便是网页元素，有的时候可以选择忽略错误直接脑残模拟。
当然，还有很多缺点，包括
- 脑残的模拟导致漏网之鱼，不过我们仍有办法记录这些漏网之鱼的信息，再来重新下载，就有待后续改进啦。
- send_keys输入文本是真的是输入啊！！一长串文本一个个字符往里蹦。
慢！
- 接着就是由于基于Chrome浏览器模拟，打开网页总是需要耗费一定时间的，可以改用无界面的浏览器PhantomJS。
最限制速度的就是下载次数过多出现的验证码了，导致整个项目还需要人工操作，也是亟待改进的一点。
下一篇文章将介绍通过Cookies登录+抓包进行离线下载的方法。
本项目代码：
github_douban
过往文章：
网易云音乐评论抓取实验(1)接口获取
Python自动生成简书过往文章链接Markdown格式文本
Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载
Python实现电影排行榜自动网盘下载(3)Selenium离线下载
Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”
Python实现电影排行榜自动网盘下载(1)Scrapy爬虫框架
网友评论