python中用scrapy框架创建项目

最近在学scrapy框架进行简单爬虫学习，在此简单回顾一下创建项目流程思路。

首先你的安装scrapy运行环境，在此省略，不懂可以百度。

第一步：创建项目 在运行环境按住shift键，单击右键选择【在此打开命令窗口】，打开cmd命令框，输入命令：scrapy startproject qsbk,如下图：

第二步创建爬虫，根据提示进入qsbk目录下 输入“scrapy genspider qsbk_spider”，成功返回如下图：

在此爬虫成功创建了。

第三步就是利用pycharm打开项目，进行操作处理了。打开项目会发现如下图：

这里简单说明一下：

item.py用来存放爬虫爬取下来的数据模型；

middlewares.py用来存放各种中间件的文件；

pipelines.py用来将items的模型存储到本地磁盘中；

scrapy.cfg 表示项目的配置文件。

第四步就是开始编写爬虫了。