美文网首页
scrpyd运行scrapy项目 - windows10

scrpyd运行scrapy项目 - windows10

作者: 汤汤汤汤汤雪林 | 来源:发表于2017-07-28 17:35 被阅读0次

    本教程针对windows10,python2.7

    当spider数量增加,为了便于管理scrapy项目,以及后期的项目打包
    使用scrapyd 进行项目管理
    首先,安装scrapyd 以及 附属工具包:

    pip install scrapyd      # 主包
    pip install scrapyd-client   #命令行工具包
    

    安装完成后,修改项目目录中的scrapy.cfg文件

    [deploy]
    url = http://localhost:6800/
    project = project_name #项目名称
    

    小插曲:
    常规状态下,下一步即将执行

    scrapyd-deploy
    

    部分教程中,写为

    scrapy deploy target -p projcet
    

    是已被遗弃的一个scrapy命令行方法,在scrapy -h 中也没有该命令提示信息
    正确使用方法为:
    1、创建名为 scrapyd-deploy.bat 文件,内容为:

    @echo off
    "D:\Python27\python.exe" "D:\Python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
    # 对照修改本地的python目录
    

    2、将文件移动到python根目录下的Scripts目录中即可使用

    scrapyd-deploy project_name -p project_name
    >>>Packing version 1496109534
    Deploying to project "project_name" in http://localhost:6800/addversion.json
    Server response (200):
    {"status": "ok", "project": "project_name", "version": "1496109534", "spiders": 1, "node_name": "localhost.localdomain"}
    

    该步骤会将当前项目打包,创建setup.py文件,后期迁移部署时用上,可做个性化修改
    输出信息为

    项目部署状态,名称,版本号,爬虫数量,主机名称

    到此,项目部署完成

    部署完成后主要使用curl 进行 scrapyd api 操作,具体操作查看官方文档
    参考文档:http://scrapyd.readthedocs.io/en/stable/ (scrapyd官方文档)

    相关文章

      网友评论

          本文标题:scrpyd运行scrapy项目 - windows10

          本文链接:https://www.haomeiwen.com/subject/pzdflxtx.html