美文网首页
Scrapy部署总结

Scrapy部署总结

作者: liuchungui | 来源:发表于2019-03-14 23:03 被阅读0次

1、如何开放6800,让本地能访问

首先,在阿里云安全组进行设置,开放对应的端口,并且允许对应的ip访问。(注意:若是不是阿里云,自己的服务器,没有设置防火墙,最好别这么处理,可以使用nginx做反向代理,并设置账号和用户名)

2、然后,建立scrpyd.conf文件,scrapyd启动的时候,会自动搜索配置文件,配置文件加载顺序为:

  • /etc/scrapyd/scrapyd.conf
  • /etc/scrapyd/conf.d/*
  • scrapyd.conf
  • ~/.scrapyd.conf

3、最后加载会覆盖前面的设置,我这里建立的配置文件是放在~/.scrapyd.conf,这里主要将监听的ip设置为0.0.0.0

参考:

配置参考:http://scrapyd.readthedocs.io/en/stable/config.html#config-example

相关文章

  • Scrapy部署总结

    1、如何开放6800,让本地能访问 首先,在阿里云安全组进行设置,开放对应的端口,并且允许对应的ip访问。(注意:...

  • python - scrapy安装部署

    部署项目 第一次用scrapy框架需要安装scrapypip install scrapy -i https://...

  • scrapy部署

    验证 命令行输入:scrapyd输出如下表示打开成功:bdccl@bdccl-virtual-machine:~$...

  • scrapy部署

    1、安装使用到的相关库 scrapyd pip3 install scrapyd scrapyd-client p...

  • 分布式爬虫

    分布式部署就是实现多台电脑共同爬取数据 安装scrapy-redis pip install scrapy-red...

  • 第十二章 scrapyd 部署爬虫

    scrapyd 部署项目 标签(空格分隔): python scrapy scrapyd 介绍: Scrapyd用...

  • 2017-12-29

    centos系统下通过scrapyd部署python的scrapy 介绍 本篇记录下我学习用scrapyd部署sc...

  • Scrapyd使用教程

    Scrapyd是一个服务,用来运行scrapy爬虫的 它允许你部署你的scrapy项目以及通过HTTP JSON的...

  • Scrapyd发布爬虫的工具

    Scrapyd Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用JSON API部署...

  • 使用python搭建爬虫项目,基于scrapy+scrapyd+

    一、简单介绍 先上一张scrapy的架构图 1.scrapy 爬虫框架 2.scrapyd 爬虫部署服务(最后爬虫...

网友评论

      本文标题:Scrapy部署总结

      本文链接:https://www.haomeiwen.com/subject/fjahmqtx.html