scrapyd

总结一下scrapyd的基本操作方便自己之后使用.
1.修改scrapy爬虫项目的scrapy.cfg文件(项目名称和url)
2.在项目目录下打开命令行(dir可看见scrapy.cfg文件)
执行

scrapyd-deploy -l

列出1.中的项目名称和url
执行

scrapy list

列出项目内的爬虫文件
3.执行打包上传命令
scrapyd-deploy 项目名称(在scrapy.cfg中设置的) -p 爬虫项目名

scrapyd-deploy zjg -p house

注意url服务器scrapyd要启动

C:\Users\xxx\spider_project\house>scrapyd-deploy zjg -p house
Packing version 1540174008
Deploying to project "house" in http://111.111.111.111:6800/addversion.json
Server response (200):
{"spiders": 1, "status": "ok", "node_name": "shhlpc01", "version": "1540174008", "project": "house"}

4.浏览器访问http://111.111.111.111:6800可查看
eg.Available projects: house
5.运行我们的爬虫
curl http://localhost:6800/schedule.json -d project=项目名称 -d spider=爬虫名称

curl http://111.111.111.111:6800/schedule.json -d project=house -d spider=zjgfc

停止爬虫
curl http://111.111.111.111:6800/cancel.json -d project=项目名称 -d job=运行ID

curl http://111.111.111.111:6800/cancel.json -d project=house -d job=405c49dcd5a011e8b3bc0050569d4f2f

=====================
详细的原文章见https://blog.csdn.net/baoshuowl/article/details/79656701
下面是一些api的常用命令,我就直接copy下来了,用的时候看一下.

删除scrapy项目
curl http://localhost:6800/delproject.json -d project=scrapy项目名称(要先停止)

查看有多少个scrapy项目在api中
curl http://localhost:6800/listprojects.json

1、获取状态
http://127.0.0.1:6800/daemonstatus.json
2、获取项目列表
http://127.0.0.1:6800/listprojects.json
3、获取项目下已发布的爬虫列表
http://127.0.0.1:6800/listspiders.json?project=myproject
4、获取项目下已发布的爬虫版本列表
http://127.0.0.1:6800/listversions.json?project=myproject
5、获取爬虫运行状态
http://127.0.0.1:6800/listjobs.json?project=myproject
6、启动服务器上某一爬虫（必须是已发布到服务器的爬虫）
http://127.0.0.1:6800/schedule.json （post方式，data={"project":myproject,"spider":myspider}）
7、删除某一版本爬虫
http://127.0.0.1:6800/delversion.json
（post方式，data={"project":myproject,"version":myversion}）
8、删除某一工程，包括该工程下的各版本爬虫
http://127.0.0.1:6800/delproject.json（post方式，data={"project":myproject}）