python爬虫框架scrapy基本使用

安装scrapy

pip install scrapy
pip install pypiwin32（windows环境下需要安装）

创建项目

 scrapy startproject [项目名称]

使用命令创建爬虫（在spiders目录下执行）

scrapy genspider [名字] [域名]

运行代码

scrapy crawl [spiders目录下名称]

项目结构
1,item.py 用来存放爬虫爬取下来数据的模型
2,middlewares.py 用来存放各种中间件
3,pipelines.py 用来将items的模型存储到本地磁盘中
4,settings.py 本爬虫的一些基本配置信息
5,scrapy.cfg 项目的配置文件
6,spiders包 以后所有的爬虫都存里面