2017-12-29

centos系统下通过scrapyd部署python的scrapy

介绍

本篇记录下我学习用scrapyd部署scrapy程序的过程。scrapyd的资料可以参见：scrapyd官网。

一，安装scrapyd

安装后会出现在python的bin目录下。

1.安装命令：pip install scrapyd

2.运行scrapyd

输入：/usr/local/python3.6/bin/scrapyd  或者

scrapyd添加软链接

输入：ln -s /usr/local/python3.6/bin/scrapyd /usr/local/scrapyd

输入：scrapyd

访问 http://localhost:6800/ 或者 IP访问  http://ip:68000

二，安装上传工具(scrapyd-client)

1.安装命令：pip install scrapyd-client

2.发布-(拷贝scrapyd-deploy到爬虫目录下)

3.发布-(修改爬虫的scapy.cfg文件)

4.发布-(上传scrapy到scrapyd)

python  /项目根目录/scrapyd-deploy xx -p prodjectName

5.使用linux自带的调度工具执行刚刚发布的爬虫