scrapy命令行

创建项目

scrapy startproject myproject [project_dir]

生成爬虫任务

scrapy genspider mydomain mydomain.com

查看可以生成的模板

scrapy genspider -l

执行爬虫任务

scrapy crawl <spider>

检查代码是否出错

scrapy check [-l] <spider>

查看项目中所有爬虫任务

scrapy list

快速抓取网页源代码

scrapy fetch [--nolog] [--headers] <url>

保存网页源代码为一个文件，并在浏览器中打开该文件（静态文件）

scrapy view <url>

交互模式

scrapy shell <url>

获取项目配置情况

scrapy settings [options]

通过文件名称运行爬虫

scrapy runspider <spider_file.py>