美文网首页
scrapy中同时启动多个爬虫

scrapy中同时启动多个爬虫

作者: 俊采星驰_87e0 | 来源:发表于2018-06-09 09:17 被阅读0次

    直接贴代码:

    !/usr/bin/env python3

    -- coding: utf-8 --

    from scrapy.crawler import CrawlerProcess
    from scrapy.utils.project import get_project_settings
    
    process = CrawlerProcess(get_project_settings())
    process.crawl('A_spider')
    process.crawl('B_spider')
    process.crawl('C_spider')
    
    process.start()
    

    园宝科技

    相关文章

      网友评论

          本文标题:scrapy中同时启动多个爬虫

          本文链接:https://www.haomeiwen.com/subject/lfxteftx.html