一、准备好爬虫程序

爬虫程序代码参考爬虫实战四、PyCharm+Scrapy爬取数据并存入MySQL

图片.png

二、修改项目配置

找到项目配置文件scrapy.cfg：

[settings]
default = doubanSpider.settings

[deploy]
#url = http://localhost:6800/
project = doubanSpider

修改为如下：

[settings]
default = doubanSpider.settings

[deploy:node100]
url = http://node100:6800/
project = doubanSpider

注意本代码需要连接数据库，因此需要修改对应的连接数据库配置

之前的配置：

图片.png

修改后的配置：

图片.png

三、部署项目

在部署项目之前要保证scrapyd服务开启。此处我是使用scrapyd后台启动脚本，脚本参考爬虫实战六、Scrapy爬虫部署工具Scrapyd服务搭建

图片.png

进入本地爬虫工程的目录，

图片.png

执行部署命令

scrapyd-deploy node100 -p doubanSpider

图片.png

打开 http://node100:6800/ 查看

图片.png

四、调度爬虫

调度爬虫需要使用curl，以下命令可以在dos窗口对应的项目目录下执行，

图片.png

也可以在PyCharm中的命令行执行。

图片.png

4-1、查看远端服务器上面的爬虫

curl http://node100:6800/listprojects.json

图片.png 图片.png

4-2、移除远程服务器上面部署的爬虫工程

curl http://node100:6800/delproject.json -d project=doubanSpider

4-3、启动爬虫

curl http://node100:6800/schedule.json  -d project=doubanSpider -d spider=douban

图片.png

在http://node100:6800/jobs 中查看任务，也可以查询Log日志。

图片.png 图片.png

任务执行完毕，查看数据。

图片.png

4-4、取消爬虫

 curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f