image image

这些组件最重要的思路就是拦截，即过滤

item管道：作用一：入库

image

校验：一是可以在管道，但主要是在item定义字段校验

管道是什么

Item管道(Item Pipeline)：

• 主要负责处理有蜘蛛从网页中抽取的Item，主要任务是清洗、验证和存储数据。
• 当页面被蜘蛛解析后，将被发送到Item管道，并经过几个特定的次序处理数据。
• 每个Item管道的组件都是有一个简单的方法组成的Python类。
• 它们获取了Item并执行它们的方法，同时还需要确定是否需要在Item管道中继续执行下一步或是直接丢弃掉不处理。

类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。

image

数据去重在管道里面做是下策。在管道里面去重只是预防。好的去重是在请求url和解析url时候就去重，清洗html建议在spider里面做。

image

每一个管道都是一个类，每个类里面都有这几种方法。

一个管道一个管道，一层滤网一层滤网

最后一个方法少修改初始化。

image

必须return item 不然下面的管道就接不上了。给价格增加增值税。

image

item去重，见到粗暴，不推荐。要么抛异常，要么返回item，不要别的。

set集合是不重复的。

image

打开一个文件名。

序列号，写进去一系列字符串

image

加入了mongodb的两个参数，并且用init初始化。mongouri和数据库名两个参数。

image

向mongodb里面插入数据。

---

Item管道主要函数：

1. process_item(self, item, spider) —— 必须实现（也是用的最多的方法）；

每个 Item Pipeline 组件都需要调用该方法，这个方法必须返回一个 Item (或任何继承类)对象， 或是抛出 DropItem 异常，被丢弃的 item 将不会被之后的 pipeline 组件所处理

需要传入的参数为：

• item (Item 对象) ： 被爬取的 item
• spider (Spider 对象) ： 爬取该 item 的 spider

该方法会被每一个 item pipeline 组件所调用，process_item 必须返回以下其中的任意一个对象：

• 一个 dict
• 一个 Item 对象或者它的子类对象
• 一个 Twisted Deferred 对象
• 一个 DropItem exception；如果返回此异常，则该 item 将不会被后续的 item pipeline 所继续访问

注意：该方法是Item Pipeline必须实现的方法，其它三个方法（open_spider/close_spider/from_crawler）是可选的方法

举例说明1

以下假设的管道，它调整 price那些不包括增值税（price_excludes_vat属性）的项目的价格，并删除那些不包含价格的项目

from scrapy.exceptions import DropItem

class PricePipeline(object):

vat_factor = 1.15

def process_item(self, item, spider):

if item['price']: #是否有价格

if item['price_excludes_vat']: #如果价格不包括增值税，则把价格乘上一个增值税系数

item['price'] = item['price'] * self.vat_factor

return item

else: #如果没有价格，则抛弃这个item

raise DropItem("Missing price in %s" % item)

举例说明2

此例主要是用于查找重复Item并删除已处理的Item的过滤器。假设我们的Item具有唯一的ID，但是我们的Spider会返回具有相同id的多个Item：

from scrapy.exceptions import DropItem

class DuplicatesPipeline(object):

def init(self):

self.ids_seen = set() #初始化中，创建一个空集合

def process_item(self, item, spider):

查看id是否在ids_seen中，如果在，就抛弃该Item，如果不在就添加到ids_seen中，下一次其它Item有相同的id就抛弃那个Item

if item['id'] in self.ids_seen:

raise DropItem("Duplicate item found: %s" % item)

else:

self.ids_seen.add(item['id'])

return item #记住一定要返回Item

2.open_spider(self, spider) —— 非必需，为爬虫启动的时候调用；

当 spider 被开启时，这个方法被调用。可以实现在爬虫开启时需要进行的操作，比如说打开一个待写入的文件，或者连接数据库等

需要传入的参数：

• spider (Spider 对象) ： 被开启的 spider

3. close_spider(self, spider) —— 非必需， 为爬虫关闭的时候调用；

当 spider 被关闭时，这个方法被调用。可以实现在爬虫关闭时需要进行的操作，比如说关闭已经写好的文件，或者关闭与数据库的连接

需要传入的参数：

• spider (Spider 对象) ： 被关闭的 spider

举例说明：

将项目写入JSON文件

以下管道将所有抓取的Item（来自所有蜘蛛）存储到单个items.json文件中，每行包含一个项目，以JSON格式序列化：

import json

class JsonWriterPipeline(object):

def open_spider(self, spider):

在爬虫开始时打开文件

self.file = open('items.json', 'w')

def close_spider(self, spider):

在爬虫结束时关闭文件

self.file.close()

def process_item(self, item, spider):

把爬取到的item转换为json格式，保存进文件

line = json.dumps(dict(item)) + "\n"

self.file.write(line)

return item #注意要返回item

4. from_crawler(cls, crawler) —— 非必需，也是在启动的时候调用，比 open_spider早。

该类方法用来从 Crawler 中初始化得到一个 pipeline 实例；它必须返回一个新的 pipeline 实例；Crawler 对象提供了访问所有 Scrapy 核心组件的接口，包括 settings 和 signals

需要传入的参数：

• crawler (Crawler 对象) ： 使用该管道的crawler

举例说明：

此例主要使用pymongo将项目写入MongoDB。MongoDB地址和数据库名称在Scrapy设置中指定； MongoDB集合以item类命名

from_crawler()方法是创建通往Crawler的pipeline，返回一个新的pipeline实例

这个例子的要点是显示如何使用from_crawler()方法和如何正确清理资源

通过类方法 from_crawler() 在内部初始化得到了一个 pipeline 实例，初始化的过程中，使用了 mongo_uri 以及 mongo_db 作为构造参数

---

import pymongo

class MongoPipeline(object):

collection_name = 'scrapy_items'

def init(self, mongo_uri, mongo_db):

self.mongo_uri = mongo_uri

self.mongo_db = mongo_db

@classmethod

def from_crawler(cls, crawler):

return cls(

mongo_uri=crawler.settings.get('MONGO_URI'),

mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')

)

---

def open_spider(self, spider):

self.client = pymongo.MongoClient(self.mongo_uri)

self.db = self.client[self.mongo_db]

def close_spider(self, spider):

self.client.close()

def process_item(self, item, spider):

self.db[self.collection_name].insert_one(dict(item))

return item