创建Scarpy项目create
scrapy startproject myproject [project_dir]
生成爬虫 genspider
scrapy genspider 爬虫名字 目标链接
显示可用模板
scarpy genspider -l
模板包括:basic crawl scvfeed xmlfeed
爬虫模板的使用
scrapy genspider -t crawl 目标链接
启动爬虫(进入爬虫所在目录)
scrapy crawl spider
Check
检查是否有错误
scrapy ckeck -l spider
list
爬虫列表
scrapy list
网友评论