美文网首页
安装scrapyd

安装scrapyd

作者: 你猜_19ca | 来源:发表于2018-08-07 14:38 被阅读0次

pip install scrapyd

  • 遇到安装为题:
    • 如果遇到incremental未安装,则:
      • pip install incremental
    • 如果遇到libxml2和libxslt未安装,则:
      • apt-get install libxml2
      • apt-get install libxslt1-dev
      • pip install lxml
    • 如果遇到No module name attr,是twisted版本太高,目前在twisted=13.1.0上才能运行scrapyd:
      • pip uninstall twisted
      • pip install twisted==13.1.0

安装scrapyd-client

  • pip install scrapyd-client

配置scrapyd

  • 启动的时候默认是127.0.0.1:6800,会导致外网无法访问scrapyd服务,因此要修改scrapyd.conf的地址
  • 如果用pip安装,则默认配置文件一般在/usr/local/lib/python2.7/dist-packages/scrapyd
    • vi default_scrapyd.conf
    • 把bind_address = 127.0.0.1修改为服务器地址,如10.66.80.158

启动scrapyd服务

  • nohup scrapyd > /tmp/scrapyd.log 2>&1 &
  • 2表示标准错误输出
  • 1表示标准信息输出
  • 2>&1表示把错误信息一起输入到标准输出

部署命令:

  • scrapyd-deploy deployname -p projectname,根据scrapyd.cfg中的deploy信息部署,如:

    • scrapyd.cfg中信息如下:

      [deploy:hiktest]
      url = http://10.66.80.158:6800/
      project = tutorial
      

    • scrapyd-deploy hiktest -p tutorial
      

相关文章

网友评论

      本文标题:安装scrapyd

      本文链接:https://www.haomeiwen.com/subject/ksxavftx.html