scrapy运行爬虫，除了常见的命令行，官方还提供了几种不同的运行方式，下面就来介绍一下。
从脚本运行Scrapy
您可以使用 API 从脚本运行Scrapy，而不是通过 scrapy crawl 运行Scrapy的典型方法.
请记住，Scrapy是建立在Twisted异步网络库之上的，因此您需要在Twisted reactor中运行它.
您可以用来运行爬虫的第一个实用程序是 scrapy.crawler.CrawlerProcess .该类将为您启动Twisted reactor，配置日志记录并设置关闭处理程序.此类是所有Scrapy命令使用的类.
这是一个示例，展示如何使用它运行单个爬虫.
import scrapy
from scrapy.crawler import CrawlerProcess
class MySpider(scrapy.Spider):
# Your spider definition
...
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished
请务必查看 CrawlerProcess 文档以熟悉其使用详细信息.
如果您在Scrapy项目中，则可以使用一些其他帮助程序在项目中导入这些组件.您可以自动导入您的名称传递给 CrawlerProcess 的爬虫，并使用 get_project_settings 获取项目设置的 Settings 实例.
以下是使用 testspiders 项目作为示例的工作示例.
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
process = CrawlerProcess(get_project_settings())
# 'followall' is the name of one of the spiders of the project.
process.crawl('followall', domain='scrapinghub.com')
process.start() # the script will block here until the crawling is finished
还有另一个Scrapy实用程序可以更好地控制爬网过程: scrapy.crawler.CrawlerRunner .此类是一个简单包装程序，它封装了一些简单的帮助程序来运行多个爬虫程序，但它不会以任何方式启动或干扰现有的反应堆.
使用此类，应在调度爬虫后显式运行reacto。
如果您的应用程序已经在使用Twisted并且您想在同一个反应器中运行Scrapy，建议您使用CrawlerRunner而不是CrawlerProcess。
请注意，在爬虫完成后您还必须自己关闭Twisted反应器.这可以通过向 CrawlerRunner.crawl 方法返回的延迟添加回调来实现.
以下是其使用示例，以及在 MySpider运行完毕后手动停止反应堆的回调.
import scrapy
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
class MySpider(scrapy.Spider):
# Your spider definition
...
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})
runner = CrawlerRunner()
d = runner.crawl(MySpider)
d.addBoth(lambda _: reactor.stop())
reactor.run() # the script will block here until the crawling is finished
在同一进程中运行多个爬虫
默认情况下，当您运行 scrapy crawl 时，Scrapy会为每个进程运行一个爬虫.但是，Scrapy支持使用 internal API 为每个进程运行多个爬虫.
这是一个同时运行多个爬虫的示例:
from scrapy.crawler import CrawlerProcess
class MySpider1(scrapy.Spider):
# Your first spider definition
...
class MySpider2(scrapy.Spider):
# Your second spider definition
...
process = CrawlerProcess()
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start() # the script will block here until all crawling jobs are finished
使用 CrawlerRunner 的相同示例:
from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
class MySpider1(scrapy.Spider):
# Your first spider definition
...
class MySpider2(scrapy.Spider):
# Your second spider definition
...
configure_logging()
runner = CrawlerRunner()
runner.crawl(MySpider1)
runner.crawl(MySpider2)
d = runner.join()
d.addBoth(lambda _: reactor.stop())
reactor.run() # the script will block here until all crawling jobs are finished
相同的例子，但通过链接延迟顺序运行爬虫:
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
class MySpider1(scrapy.Spider):
# Your first spider definition
...
class MySpider2(scrapy.Spider):
# Your second spider definition
...
configure_logging()
runner = CrawlerRunner()
@defer.inlineCallbacks
def crawl():
yield runner.crawl(MySpider1)
yield runner.crawl(MySpider2)
reactor.stop()
crawl()
reactor.run() # the script will block here until the last crawl call is finished```
网友评论