python scrapy框架相关详解

一、scrapy （死亏呸 ）架构

微信截图_20180119165856.png

1 scrapy engine 引擎 ： 指挥 调动
2 spider 爬虫 负责从responses中提取分析数据，然后再次交还给调度器scheduler
3 itempipeline 管道文件 对数据的操作 处理spider中的item，进行后期处理（过滤、详细分析、存储等）
4 downloader 下载器 下载对应的响应文件 之后将responses（资源）由引擎交给spider处理
5 scheduler 调度器 接受引擎的request的请求，整理排列，信号数据传递，当引擎需要，交还到引擎。
downloader middlewares（下载中间件）：自定义扩展下载功能组件。
spider middlewares（spider中间件）： 自定义扩展通信等

调度流程：1（引擎） 2（爬虫代码）3（管道） 5（调度器） 4（下载文件） 2 成功 3 其他 5

二、相关命令

命令：
新建项目 （scrapy startproject xxx）
明确目标 （写代码）
制作爬虫 （spiders/xxspider.py）
存储内容 （pipelines.py）

制作爬虫：
scrapy genspider [name] "[address.com]" 生成代码

三、方法说明

spider
爬虫基本类，所有爬虫继承的类

必要参数：
name 成员 爬虫名 运行名
start_urls 成员 目标名 执行目标网站

可选参数（可以被重写）：

# 允许爬虫爬的地址
allowed_domains 

# 读取start_urls内的地址，为每个地址生成一个request对象，交给scrapy下载返回response，只调用一次
def start_requests(self):
    for url in self.start_urls:
        yield self.make_request)_from_url(self)

# 实际生成request    
def make_request_from_url(self, url):
    # 地址、去重(根据生成的标识码，储存到内存，对比去重)
    return Request(url, dont_filter=true)

# 网页处理回调，处理爬到的数据。没写的话当默认处理
parse(self, response):

# 爬虫日志
log(self, message[, level, component]):

四、安装问题

1.Could not find a version that satisfies the requirement Twisted>=13.1.0 (from scrapy) (from versions: )，No matching distribution found for Twisted>=13.1.0 (from scrapy)（缺少twisted依赖）

解决办法：

1. # virtualenv --python=python3.6 ENV
2. # source ENV/bin/activate
3. wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2
4. tar -jxvf Twisted-17.1.0.tar.bz2
5. cd Twisted-17.1.0
6. python setup.py install
7. cd ..
8. pip install scrapy