美文网首页要吃饭pythonpython爬虫
scrapy笔记(4) - 跟踪调试scrapy

scrapy笔记(4) - 跟踪调试scrapy

作者: destino74 | 来源:发表于2015-05-28 18:53 被阅读4315次

    学习要点

    学习如何跟踪调试scrapy框架

    oh..距离上次写scrapy笔记3已经有一个多月了,跳票这么久,除了投简历找工作就是自己懒癌发作.
    嗯,等确定了到底去哪工作之后一定会勤奋的更新的!

    今天来讲讲怎么跟踪调试scrapy.
    大家都知道scrapy是用命令行运行的,其中官方文档也有介绍怎么查看scrapy的状态,还有嵌入一句代码在有response的地方停止等等.
    不过有时我们需要跟踪进scrapy源码里深入学习他的精髓,这时候官方文档的说明就不足了.
    我在网上找到这一份代码,可以用于跟踪调试,至于原理什么的.其实就是scrapy是用了twisted的reactor来启动的(异步多线程的特性)
    然后我们自己写个reactor来手动启动scrapy,就可以跟踪调试了,再深入一点的知识我就不会了..twisted框架还没开始学呢0.0

    from twisted.internet import reactor
    from scrapy.crawler import Crawler
    from scrapy import log, signals
    from scrapy.utils.project import get_project_settings
    from spiders.MoiveSpider import MoiveSpider
    
    spider = MoiveSpider()  #这里改为你的爬虫类名
    settings = get_project_settings()
    crawler = Crawler(settings)
    crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
    crawler.configure()
    crawler.crawl(spider)
    crawler.start()
    log.start()
    reactor.run()
    

    如代码所示,把这份代码保存到py文件中,与items.py同目录.然后就可以从这个py文件启动进行调试了~

    相关文章

      网友评论

      本文标题:scrapy笔记(4) - 跟踪调试scrapy

      本文链接:https://www.haomeiwen.com/subject/lserqttx.html