Scrapy 入门教程###
安装Scrapy lxml很容易出问题 。
1： 创建一个Scrapy 项目
scrapy starproject tutorial ## tutorial是项目名称
会自动创建tutorial目录：
scrapy.cfg : 项目的配置文件
item.py : 项目中的item 文件
pipelines.py : 项目中的piplines 文件
settings.py : 项目中的设置文件
spiders : 放置spider代码的目录
定义 Item
em
是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样，您可以通过创建一个 scrapy.Item
类， 并且定义类型为 scrapy.Field
的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)
首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑 tutorial
目录中的 items.py
文件:
import scrapy
class DmozItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
```
###编写一个爬虫（Spider）###
为了创建一个Spider , 必须继承`scrapy.Spider`类， 并且定义以下三个属性：
- `name` : 用于区别Spider， 名字需要唯一
- `start_url` : 包含了Spider 启动的时候需要抓取了url列表，因此，第一个被抓取的页面将是其中之一，后续的URL则从初始的URL获取到的数据提取
- `parse()` : 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 [Response
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Response) 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 [Request
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Request) 对象。
以下为我们的第一个Spider代码，保存在 tutorial/spiders
目录下的 dmoz_spider.py
文件中:
import scrapy
class DmozSpider(scrapy.spiders.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2]
with open(filename, 'wb') as f:
f.write(response.body)
启用命令 ： scrapy craml 项目名
Scrapy为Spider的 start_urls
属性中的每个URL创建了 [scrapy.Request
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Request) 对象，并将 parse
方法作为回调函数(callback)赋值给了Request。
Request对象经过调度，执行生成 [scrapy.http.Response
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Response) 对象并送回给spider [parse()
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.parse) 方法。
###提取 Item ###
Scrapy 使用基于XPath 和 CSS 表达机制， Scrapy Selectors
列XPath 表达式对应了含义：
- `/html/head/title` : 选择HTML 中`<head>` 标签内的`<title>`元素
- `/html/head/title/text()` : 选择上面提到的`<title>`元素的文字
- `//td` ：选择所有的`<td>`元素
- `//div[@class='mine']` : 选择所有带具有`class='mine'` 属性的`div`元素
为了配合XPath ， Scrapy 除了`selector` 之外，还提供了方法避免每次response 中提取数据生成selector的麻烦。
Selector 有四个基础方法
- `xpath（）` ： 传入xpath表达式， 返回该表达式对应的所有selector list 列表
- `css()` : 传入CSS 表达式， 返回表达式内所有selector list 列表
- `extract` ：序列化该节点为unicode字符串并返回list
- `re()` : 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表
### Spider 参数 ###
在运行`crawl` 可以添加 `-a ` 可以传递Spider参数：
`scrapy crawl <name> -a category=electronics`
Spider在构造器(constructor)中获取参数
###Spider###
`name` : 定义名称
`allowed_domains` : 可选。包含了spider允许爬取的域名(domain)列表(list)。 当 [OffsiteMiddleware
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spider-middleware.html#scrapy.contrib.spidermiddleware.offsite.OffsiteMiddleware) 启用时， 域名不在列表中的URL不会被跟进。
`start_urls` : URL列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。 因此，第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取。
`start_requests()`:
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。
当spider启动爬取并且未制定URL时，该方法被调用。 当指定了URL时，[make_requests_from_url()
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.make_requests_from_url) 将被调用来创建Request对象。 该方法仅仅会被Scrapy调用一次，因此您可以将其实现为生成器。
该方法的默认实现是使用 [start_urls
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.start_urls) 的url生成Request。
如果您想要修改最初爬取某个网站的Request对象，您可以重写(override)该方法。 例如，如果您需要在启动时以POST登录某个网站，你可以这么写:
def start_requests(self):
return [scrapy.FormRequest("http://www.example.com/login",
formdata={'user': 'john', 'pass': 'secret'},
callback=self.logged_in)]
def logged_in(self, response):
# here you would extract links to follow and return Requests for
# each of them, with another callback
pass
`log(message[, level, componet])`: 日志
网友评论