scrapy框架入门

1.scrapy框架各个组件功能

scrapy组件功能.png

2.安装scrapy
命令: pip install scrapy
注意,scrapy底层依赖的twisted异步框架依赖于pypiwin32模块,在windsows系统中如果不安装的话在框架运行时会报错,linux系统不用安装
3.创建一个scrapy项目名称: 命令scrapy startproject 项目名称

各个文件作用.png
4.创建一个scrapy爬虫: scrapy genspider 爬虫名 爬虫域名, 创建的爬虫会限制在该域名下.