01 pyspider

一、什么是Pyspider框架

python 脚本控制，可以用任何你喜欢的html解析包（内置 pyquery）

WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出

数据存储支持MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL 及 SQLAlchemy

队列服务支持RabbitMQ, Beanstalk, Redis 和 Kombu

支持抓取 JavaScript 的页面

组件可替换，支持单机/分布式部署，支持 Docker 部署

强大的调度控制，支持超时重爬及优先级设置

支持python2&3

二、简单实用

1、启动pyspider

命令行输入

pyspider

2、打开127.0.0.1:5000页面

3、create按钮创建项目

在web控制台点create按钮新建任务，项目名自定义。本例项目名为v2ex。

4、代码编写

保存后打开代码编辑器(代码编辑器默认有简单的实例代码)

右侧就是代码编辑器，以后可以直接在这添加修改代码。代码如下:

代码简单分析：

• def on_start(self) 方法是入口代码。当在web控制台点击run按钮时会执行此方法。
• self.crawl(url, callback=self.index_page)这个方法是调用API生成一个新的爬取任务，这个任务被添加到待抓取队列。
• def index_page(self, response) 这个方法获取一个Response对象。
• response.doc是pyquery对象的一个扩展方法。
• pyquery是一个类似于jQuery的对象选择器。
• def detail_page(self, response)返回一个结果集对象。这个结果默认会被添加到resultdb数据库（如果启动时没有指定数据库默认调用sqlite数据库）。你也可以重写on_result(self,result)方法来指定保存位置。

更多知识：

• @every(minutes=24*60, seconds=0) 这个设置是告诉scheduler（调度器）on_start方法每天执行一次。
• @config(age=10 * 24 * 60 * 60) 这个设置告诉scheduler（调度器）这个request（请求）过期时间是10天，10天内再遇到这个请求直接忽略。这个参数也可以在self.crawl(url, age=102460*60) 和 crawl_config中设置。
• @config(priority=2) 这个是优先级设置。数字越大越先执行。

5、执行任务

• 当您完成脚本编写，调试无误后，请先保存您的脚本！然后返回到控制台首页。
• 直接点击项目状态status那栏，把状态由TODO改成debug或running。
• 最后点击项目最右边那个RUN按钮启动项目。
• 当progress那栏有数据显示说明启动成功。到现在就可以点最右侧的results查看结果了。