创建scrapy爬虫项目以及scrapy框架的文件介绍

一   1. 在window命令提示符里面创建scrapy项目

python -m scrapy startproject + name

scrapy startproject + name

2.在window命令提示符里面的scrapy项目中创建爬虫名称和网址

python -m scrapy genspider +spider_name  +  url  （不加双引号/单引号)

scrapy genspider +spider_name  +  url 

3.在window命令提示符里面的scrapy项目中创建爬虫名称和网址  之后运行爬虫项目

python -m scrapy crawl +spider_name

scrapy crawl +spider_name

在pycharm的terminal中创建scrapy爬虫项目

二   1.在pycharm中创建scrapy项目爬虫请求响应的步骤

文件说明：

scrapy.cfg项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）

items.py设置数据存储模板，用于结构化数据，如：Django的Model

pipelines.py数据处理行为，如：一般结构化的数据持久化

settings.py配置文件，如：递归的层数、并发数，延迟下载等

spiders爬虫目录，如：创建文件，编写爬虫规则

注意：一般创建爬虫文件时，以网站域名命名

创建写爬虫的文件

# scrapy genspider +名称 + '网站'

#建立爬虫文件 

scrapy genspider itcast"itcast.cn"

2.创建完之后文件结构

注意：