参考https://blog.csdn.net/weixin_42477251/article/details/83689180
1.pip install scrapyd安装scrapyd服务端
2.sudo find / -name 'default_scrapyd.conf' 添加了用户权限加sudo，不然可以不用
image.png
3.找到所用环境的default_scrapyd.conf文件，修改目录下的bind_address,把127.0.0.1修改成0.0.0.0允许远程访问
image.png
4.把6800端口加入安全组配置，使从外网可以访问到服务器
image.png
5.在scrapy项目路径下 启动scrapyd的命令 sudo scrapyd
6.启动之后就可以打开本地运行的scrapyd，浏览器中访问6800端口可以查看scrapyd的监控界面!
image.png
7.编辑需要部署的项目的scrapy.cfg文件(需要将哪一个爬虫部署到scrapyd中，就配置该项目的该文件)
[deploy:部署名(部署名可以自行定义)]
url = http://自己公网ip:6800/ #url = [http://114.115.184.228:6800/
project = 项目名(创建爬虫项目时使用的名称)
- scrapyd-deploy -p 项目名称
image.png
image.png
9.启动项目
curl http://ip:端口/schedule.json -d project=项目名称 -d spider=爬虫名称
如：curl http://114.115.184.228:6800/schedule.json -d project=tennect -d spider=tencent_spider
image.png
10.关闭项目
curl http://ip:端口/cancel.json -d project=项目名称 -d job=jobid
如：curl http:/114.115.184.228:6800/cancel.json -d project=tennect -d job=3ff949eedf4711e8820d00163e2e5aa8
image.png
11.项目无误开启爬虫的爬取 python3 main.py
image.png
网友评论