scrapyd的部署

简单说明：

scrapyd是一个用于运行scrapy的服务器，该服务器对外提供curl接口进行访问及控制，和图形化界面展示

通过scrapyd-client模块打包项目文件并上传至服务器

安装scrapyd 模块后生成一个scrapyd.exe的运行文件

运行scarpyd 服务器

安装scrpyd-client 用于打包 scrapy项目并上传到服务器

修改项目的scrapy中的scrapy.cfg中的deploy

[deploy：取名]

取消url=。。。的注释

到python安装路径的scripts的文件夹下，检查srapyd-deploy文件是否可用 

scrapyd-deploy -l  是否出现项目名称及链接路径

要保证scrapy -l 可以正常列出spider 

（在setting中的配置：

BASE_DIR =os.path.dirname(os.path.abspath(os.path.dirname(__file__)))

sys.path.insert(0, os.path.join(BASE_DIR, '项目名'))

用于可以搜索到该项目)

#

scrapy crawl jd_store -s JOBDIR=crawls/somespider-1

#

运行scrapy-deploy  名deploy字 -p  项目名字

将项目打包到scrapyd中的eggs的文件夹中（该功能仅是打包上传）

scrpyd的状态获取

curl http://localhost:6800/daemonstatus.json

sdfjak

pip install scrapyd

运行scrapyd

scrapyd-deploy.py santiago -p general