美文网首页
PyCharm Debug 运行 Scrapy 项目

PyCharm Debug 运行 Scrapy 项目

作者: 乌合中壹 | 来源:发表于2017-11-20 19:09 被阅读49次

    Python 项目通过 IDE 集成一些框架时,想要启动好多时候都是直接敲框架对应的命令。此时如果我们需要通过 IDE 进行 Debug 调试,好多小伙伴不知道从何处下手。本文简要介绍通过 PyCharm Debug Scrapy 项目。

    通常,我们通过在终端执行 scrapy crawl xxx_spider 命令启动指定爬虫。

    我们查看该命令的调用流程。

    查找入口,进入到 Scrapy 的安装目录,..\Python27\Lib\site-packages\scrapy,查看入口程序 __main__.py,代码如下: 发现调用的是 cmdline.py 里的 execute()

        from scrapy.cmdline import execute
    
        if __name__ == '__main__':
            execute()
    

    所以,scrapy <command> [options] [args] 命令实际上就是 Python 命令,所以 scrapy 就等于 python ..\Python27\Lib\site-packages\scrapy/cmdline.py, 进一步的 scrapy crawl xxx_spider 命令就等同于 python ..\Python27\Lib\site-packages\scrapy/cmdline.py crawl xxx_sppider

    既然这样,我们就可以 配置下 PyCharm 运行程序的 Configuration 就可以了,如下图,这样点击 run 或是 debug 就都可以直接运行了。

    ConfigurationConfiguration

    相关文章

      网友评论

          本文标题:PyCharm Debug 运行 Scrapy 项目

          本文链接:https://www.haomeiwen.com/subject/nkjvvxtx.html