文章背景：最近在研究爬虫技术的时候，接触到一些运营人员，发现他们的需求有的其实很简单，不一定非要用Python来编写定制化爬虫代码即可实现，下面我就介绍一种很容易上手的办法爬取一些业务场景不是很复杂的数据。
爬取原理：利用谷歌内核的浏览器插件Webscraper定制化爬取规则，让浏览器自动执行爬取操作，下面让我们以时光电影热度为例从零开始教你使用该插件爬取你想要的数据。
工作准备：首先，你需要一个谷歌内核的浏览器，比如谷歌浏览器、360浏览器等;然后你需要下载Webscraper插件，下载地址在文章末尾。
安装介绍
你需要打开你的浏览器，然后将下载好的插件拖拽到浏览器中，这时浏览器应该会提示是否添加扩展程序，确认添加即可。如下图操作所示
添加完成之后，在浏览器中单击右键选择检查选项并点击，这时我们可以看到如下图所示的情况，即说明插件安装成功了。如果插件安装过程提示程序包无效，那么你需要查看你的浏览器版本，去百度搜索适合你的浏览器的Webscraper插件。
插件介绍
安装成功后可以观察插件的内容如下图所示，这个插件分为三部分内容，其一所已经创建好的爬虫规则列表，其二对应爬虫规则的操作命令，比如启动爬虫、导出爬虫规则，导出爬虫数据等；其三是创建或导入爬虫规则。
定制爬虫规则
点击Create new sitemap创建一个新的爬虫规则，
创建完成后，我们需要创建具体的爬取项，简单理解就是你需要获取的数据
首先我们需要获取列表页的每一个详情页的链接地址，按照我下图中的操作指示，首先填写ID，这个可以随便填写，对应的就是导出的数据的字段名称，其次选择Type，应为我们要获取的是详情页的链接地址，所以选择Link选项，然后点击第三步的Select，然后移动鼠标选中页面中详情页的标题，然后勾选第四步的单选框，然后滑动页面到底部，看看是不是需要的数据都被选中了，确认之后点击第六步的Done selecting，然后我们可以在第七步种的Data preview按钮点击后预览爬取的数据，然后点击Save selector保存爬取项。
保存好详情页的规则后，我们需要进入详情页，设置爬取的详细信息，因为这个页面直接点击详情页标题会新开一个页面，我们需要用到一个小技巧保证页面停留在当前页，因此需要按照如下图操作去设置
设置完成后点击详情页的标题
进入详情页，我们继续添加爬取项，如标题、导演等信息，操作步骤和上一个爬取项设置类似，只是要注意三点，第一只选择需要的数据即可，并且不要勾选Multiple这个地方的选择框；第二，Parent Selectors这个位置需要选择到详情页上而不是默认的_root，第三是Type选择Text或者你需要的其他类型。下面以爬取标题的数据为例
如上图所示，以下是我对详情页设置的爬取项
设置完成后的爬虫规则
准备开始爬虫
设置延迟时间，这个延迟时间的概念就是你爬取一个开始页的数据后，隔多久继续下一个开始页的爬取，以及每一个开始页里爬取页面的时间间隔，一般来说，用默认设置即可，但有的网站设置访问频率的限制，所以这两个值得改大点。
点击按钮即可坐等爬虫的结果了，一定不要关闭当前页
爬取成功的标志如下图所示
完成之后点击refresh按钮，即可看到数据
我们可以将这些数据导出成cvs文件，可以用excel打开
点击这个下载按钮即可下载到excel
excel的数据如下图所示
以上演示的是如何爬取单个列表的数据，那如何爬取所有列表页的数据呢，答案很简单，设置多个开始页即可
前提是我们得观察列表页的链接地址的分页规则
可以通过多次点击得出规律，如下图所示
设置完成后，开始爬取即可
翻页数据如下图所示
相信大家看到这里，应该基本会用这个插件进行爬虫了，是不是很简单呢，熟能生巧，凡是多尝试下就很简单啦，下面是我们闲暇时爬取的赶集网的租房信息
有了这些数据，就可以愉快的分析住哪里比较适合啦，是不是很实用。到此，本文就完结了，如果对爬虫感兴趣的，欢迎私信我，笔者是一个工作多年的程序员，可能写作时未能考虑各位读者的感受，还请多多见谅。
插件下载地址:https://pan.baidu.com/s/1tI5TsbjtGRMKi6OkD9R0Rg
提取码：24pq
网友评论