这次，我们来爬取百度文库的VIP才能下载的PPT文档。我们学爬虫的时候，最让我们头疼的可能就是动态请求了，因为不破解里面的接口，我们就没有办法拿到我们想要的数据。
破解接口确实是有很大的难度，对于初学者甚至是滋生爬虫工程师都是很有难度的，毕竟我们爬虫是与人在对抗而不是真的和机器相爱相杀。
所以，今天我们用selenium直接获取到动态渲染后的参数来下载我们想要的数据。
image
一、爬取前的准备
python库
- requests
- lxml
- selenium
- selenium驱动器
- 谷歌浏览器
selenium原理介绍
它可以把渲染之后的前端页面返回给我们，这样我们就能够拿到我们想要的数据了。
二、实现思路
首先，我们要引入chrome自动化驱动器，然后加载这个网页。
image
百度文库页面分析
image
从这个页面中，我们发现，其他都很正常，但是呢，这个页面有一个反扒措施，就是有一个“还剩xx页未读，继续阅读”这个字段，其实，这个就是我们这次遇到的最大的反爬。
在解决这个反爬问题之前，我们先分析一下最先出来的那几张PPT，选择我们爬取它的方法。
三、分析前端页面
1.一开始就展现出来的页面分析
image
我们发现，在前三个显示出来的ppt是以图片的形式，而且，图片的url已经暴露在了页面中，并且，存储在前端中的格式是完全相同的，非常的理想。
2.隐藏页面的分析
现在，我们点击继续阅读，看看之后的图片是不是也是这么储存的。
image
我们发现，接下来隐藏的页面中，图片的url存储方式并没有发生什么大变化，无非解释外面又套了一层div，并且div的class属性，仅仅只在reader-pageNo-<页数>，发生了变化。
到此，我们前端就分析完了。总结如下：
- 一开始展示的页面中，图片的url在class是ppt-image-wrap的div下的img标签
- 隐藏的图片url仅仅只在刚刚分析出来的div上套了一层盒子，并且class中仅仅只有reader-pageNo-<页数>这个参数需要改变
3.思路
那我们先用selenium，渲染出隐藏后的前端页面，然后将渲染后的页面传入lxml中的etree中去解析，再通过xpath把url再匹配出来，通过request.get()来下载图片，最后通过上下文处理器传入文件中保存。
这样，我们的PPT爬取就实现了。
4.开始实现
在分析完了前端页面后，我们可以开始实现爬取了。
代码
image
5.代码解释
1）input阻断
根据刚刚讲的原理，我们放个input阻断程序运行，然后我们手动点击继续阅读，然后回到程序中按回车继续进行程序。
2）sleep函数
这个函数是用来模拟的第一步。因为在读取的过程中，页面的加载也是需要时间的，所以我们需要有等待的时间。
3）模拟滑动
image
这个代码，大家只需要用的时候复制就好了，其中，535这个就是一个参数，在实验中，发现535这个参数配合上range()使用，能够实现每次都加载一个到两个页面。
大家可能对range里面的参数感到好奇，这个我也解释一下。这个参数，就是剩下的页数，比如在点击继续阅读后，还剩31个PPT，那么range的最后就填31。这个是根据你想要的PPT的页数来的。
sleep是要等待滑动后，页面加载出来。这样我们才能匹配到图片的url。
4）图片url匹配
image
首先，一开始展现出来的图片我们就直接用xpath匹配了，我们来看看隐藏的url匹配
在第二个for循环中，range里面的参数，就是接下来显示的，和最后一个图片的url所对应的数字。
在all_ppt_div后面，我们看reader-pageNo-%s，其中，%s就是用来传数字的，因为刚刚我们分析出来，div中class的变化和PPT的页数是一致的，所以通过这个方法传进去。
然后再将url存进列表中。
5）文件存储
image
这个就是文件操作，存入当前目录。其中，content就是文件的二进制形式。
四、总结
到此，百度文库PPT的爬取就结束啦。大家可以用这个代码和思想爬取绝大多数的百度文库ppt，因为前端的框架是基本不会变的，所以每个PPT中图片url在前端的存储格式也是一样的，我们要改的也只是程序中的部分参数就可以了。
image
网友评论