网站）上的内容，包括如何爬行（比如跳转链接），如何从页面获取结构化的数据。换句话说，spider 提供了自定义爬行行为和从特定网站解析数据的平台。

对于 spider，抓取过程会这样进行：

1. 一开始，生成请求爬第一个URL，然后指定回调函数，该函数以这些请求的响应作为参数。
   第一个发起的请求是由调用 start_request() 方法完成的，默认情况下，该方法生成 start_urls 的请求，将 parse 方法作为请求的回调函数。

2.在回调函数中，主要解析响应（web页面）并返回提取数据的字典、Item 对象、Request 对象或这些对象的迭代。这些请求包含回调（可能是同一个回调），然后由Scrapy下载，下载的响应会给指定的新回调处理。
这里可以理解为，在回调中需要处理 scrapy 下载，交由回调函数处理。回调函数默认为 'parse(self, response)'，会在下面一步介绍。

3. 在回调函数中中，你需要解析页面内容，一般来说使用 Selectors 解析（也可以使用 BeautifulSoup, lxml 和任意你喜欢的解析机制），然后生成解析数据内容。
4. 在最后，spider 返回的解析内容会被持久化到数据库（也可以是数据管道）或通过 Feed 导出为文件。

即使这个过程被应用在绝大部分 spider 上，但处于不同的期望，还是有不同的默认 spider 绑定到 Scrapy 上。

scrapy.Spider

---

class scrapy.spiders.Spider

这是最简单的 spider，所有 spider 都必须继承它。（包括与 Scrapy 绑定的 spider和你自己编写的 spider）它不提供任何特定的函数。只是提供一个默认的 start_requests() 的实现，这个函数根据 start_urls 发送请求并为每个响应调用 parse 方法。

name

name 是一个字符串，代表 spider 的名称。也是 Scrapy 定位和实例化 spider 的方式，所以 name 必须保持唯一。然而，并没有要求你不能创建多个 spider 的实例。name 是 spider 最重要的属性而且是必须的。

如果 spider 仅抓取一个域名，通常做法是将该域名作为 spider 的名称。比如，爬取 'mywebsite.com' 就命名 spider 为 mywebsite。

allowed_domains

可选项，域名列表，表示当前 spider 允许爬取的域名。如果请求的 URL 不属于域名列表中的内容，那么该请求将不会被允许（offsiteMiddleware 默认已启用）。

以 'http://www.example.com/1.html' 来说，添加的域名为 'example.com'。

start_urls

URL 的列表，是spider 开始爬取的位置，接下来的 Request 都会以此由该列表中的数据生成。

custom_settings

自定义配置，spider 运行时项目范围内的陪我之会覆盖它。它必须定义成类属性确保其在实例化之前更新。

crawler

这个属性在初始化类后通过 form_crawler() 类方法配置，并与 spider 实例绑定的 Crawler 对象关联。

Crawlers 在项目中封装了很多独立功能组件。

settings

配置 spider 运行时的设置，这是一个 settings 类的实例。

logger

Python 日志以 spider 名称作为 logger，你可以发送 log 消息，具体参考 Logging for Spiders。

from_crawler(crawler, *args, **kwargs)

这是一个类方法，用于创建 spider。

你必须要直接重写这个方法，因为默认实现了 '__init__()' 的代理，给定'args' 和 'kwargs' 再调用该方法。

尽管做了上述处理，该方法中还暴露了 'crawler' 和 'settings' 属性，以便于实例化后能在后续的 spider 代码中使用这两个属性。

Parameters

• crawler (Cralwer instance) - 绑定的 crawler 实例
• arg (list) - 传递给'__init__()'的位置参数
• kwargs (dict) - 传递给 '__init__()' 的关键字参数

start_requests()

这个方法必须返回可迭代对象，该对象中包含 spider 要爬取的请求。spider 开始抓取时 scrapy 会调用次方法，且只调用一次，所以该方法返回生成器也是可以的。

默认情况下，该方法为 start_urls 中每个 url 生成 'Request(ur, dont_filter=True)' 请求。

如果你的请求从某个域名开始抓取，重写此处即可。比如你需要POST请求登陆后开始发起请求，那么做如下修改：

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_request(self):
        return [scrapy.FromRequest("http://www.example.com/login", 
                    formdata={"user": "john", "pass": "secret"}, callback=self.logged_in)]
    
    def logged_in(self, response):
        pass

parse(response)

如果请求没有指定回调，parse 便作为默认回调。scrapy 中该回调用于传输下载的响应。
parse 方法控制着响应的传输，并返回抓取的数据或下一个URL。其他的请求回调也有同样的需求。
这个方法以及其他的请求回调，都必须返回请求、字典、Item对象的迭代。

Parameters:

response(Response) - 将要解析的请求

log(message[, level, component])

通过 spider 的 logger 封装发送日志消息，保持向后兼容。

closed(reason)

关闭 spider 时调用。

Generic Spiders 常规 spider

Scrapy 提供了多个常规的 spider，各自提供了方便的抓取功能，如根据规则跳转链接，解析 XML/CSV 提要等

CrawlSpider

爬取常规网站最常用的 spider，提供跳转链接的规则。
两个新的属性：

rules
如果有多个规则命中，则默认取第一个。

parse_start_url(response)
可重写，解析初始的响应

Crawling rules

参数：link_extractor,callback, cb_kwargs, follow, porcess_links, process_request

link_extractor

Link Extractor 对象，定义了获取链接的规则

callback
回调（可调用对象）

cb_kwargs
callback 的参数

follow
响应中的链接是否跳转。如果 callback 为 None，则默认 follow=True，否则默认为 False。

process_links
使用特定的 link_extractor 时，响应中的每个链接都调用 process_links()。主要用于过滤。

process_request
被规则提取的请求都会调用 process_request()

XMLFeedSpider

解析 XML 提要

iterator: 默认为 iternaodes
itertag：默认为 item，可以设置为需要迭代的 tag
namespaces：设置域名，可以与 itertag 一起使用

adapt_resonse(response)
在解析响应前对 response 做适度的修改

parse_node(response, selector)
必须重写的方法，用于对提供的 tag 进行节点匹配

process_reuslts(response, results)
spider 返回的每个结果都会调用这个方法，目的在于返回结果到核心框架前执行必要的处理。

CSVFeedSpider

与 XMLFeedSpider 类似，只不过把迭代节点node改成了迭代行。

delimiter 分隔符，默认为逗号
quotechar 引号，默认为双引号
headers CSV 文件列名
parse_row(response, row) 解析每一行

adapt_response() process_results() 重写 response 和 result 方法

SitemapSpider

网站地图，不做详解
[1] https://docs.scrapy.org/en/latest/topics/spiders.html