Scrapy入门环境搭建

概述

本文介绍用python3来搭建scrapy环境，实践一下最简单的scrapy用法。本文主要依照scrapy中文站教程，并结合自己学习经验，做一些补充。

环境搭建

安装Scrapy

我在mac上已经预先装好了python3环境，使用pip包管理来安装scrapy是最简便的方式:

pip3 install scrapy

安装好之后，会在系统变量中加入scrapy命令:

$ which scrapy
/Library/Frameworks/Python.framework/Versions/3.5/bin/scrapy

可见pip安装会在python3目录下导出可执行的scrapy，并且加入到系统变量中。

IDE环境

IDE我用的是pycharm，只需要在 Run→Edit Configurations中设置scrapy的脚本:
(由于scrapy默认是命令启动 scrapy crawl spiderName)

Script: /Library/Frameworks/Python.framework/Versions/3.5/bin/scrapy
Script Parameters: crawl spiderName

在pycharm中设置后每次只需要运行就可以了(当然对于固定的spiderName，暂时可以先这么用)，不需要每次都打命令行了。

建立Scrapy工程

通过Scrapy中文站的教学指令 Scrapy startproject tutorial 其实能很方便的建立一个Scrapy项目。仔细查看这个项目就会发现，其实所有初始化的文件都是可以手动配置的(详情请仔细看Scrapy工程目录介绍)。
但是对于入门而言，直接使用 Scrapy startproject <projectName> 就可以了。

项目工程树结构如下:

scrapy.cfg
myproject/
    __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

Scrapy组件使用

items.py

class MyItem(scrapy.Item):
    url = scrapy.Field()
    text = scrapy.Field()

其中自定义类继承自scrapy.Item，并添加自定义属性(类型为scrapy.Field)。
Item是用来收集scrapy抓取的数据的容器，原始抓取信息是杂乱的，我们需要自己归纳出想要的数据。
比如上面的Item类封装了url和text数据，正是我想要抓取一个页面的所有链接<a>，并获取其href属性和标签内容:

<a id=1 href="url">"text"</a>
.....
<a id=n href="url">"text"</a>

因此需要获取怎样的数据，通常要自己上一下目标网页查看源码，并自己归纳出特征。

spiders/spiderName.py

spider是单个的抓取类，其中封装好了request和response，当获取到response之后会自动调用回调函数parse(self, response)。我们就可以对response进行处理(比如http的response中可能会包含html源码)。

class Nbwxgj(scrapy.Spider):
    name = "xxblog" #spider唯一标示，用scrapy crawl dmoz来启动dmoz爬虫
    allowed_domain = ["xxblog.com"] #
    def start_requests(self): #返回一个url字符串列表，scrapy会根据这些url创建request，这个函数可以设定callback参数调用自己的回调函数，默认是调用parse
        return [scrapy.Request("http://www.xxblog.com/xxxxxxxxx")]
    def parse(self, response): 
        sel = scrapy.Selector(response)  #用scarpy.Selector提取自己要的数据
        content = sel.xpath("//pre/a")
        for c in content:
            item = ScavangerItem()
            item["text"] = c.xpath("text()").extract()
            item["url"] = c.xpath("@href").extract()
            yield item #生成器，用来和pipelines配合使用，得到数据

注意点

c.xpath("text()").extract()返回的是一个列表，其中包含的字符串元素是unicode编码的(python3默认字符串unicode编码)，对于想要转换成utf-8编码方便传输，可以用:

[s.encode("utf-8") for s in c.xpath("text()").extract()]

但如果这么做，yield产生的item就无法被json化输出了，因为utf-8编码的字符串在python中属于bytes类型，bytes类型无法被json.dumps()处理。

scrapy.Selector 可以用xpath和css的选择器语法，对处理xml类文档是很强大的，而且还可以嵌套使用，因为每次返回的都是Selector对象。

通常的用法是用xpath和css筛选出标签的内容后，使用正则匹配找到自己要的信息:

x = c.xpath("text()") #xpath()函数返回的是一个Selector对象
x.xpath("...") #还能继续嵌套用
x.re("...") #最后用正则找到自己的信息，用了正则之后就不能继续用了，因为返回的不是Selector了，而是字符串。

pipelines.py

主要用来对单个spider中获取到的Item进行处理，可以把Item的数据保存成json字符串输出到文件等。

import json

class ScavangerPipeline(object):
    def __init__(self):
        self.file = open('htea.json', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        #item可以用dict方法转换成字典，然后json.dumps()转换成字符串
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        #把字符串写到文件
        self.file.write(line)
        return item
    def spider_closed(self, spider):
        self.file.close()

网上有很多教程是用codec.open来打开文件进行写的，这样的话，会把unicode编码汉字的unicide编码给写进去，打开文档看到的就是unicode编码，如果需要显示中文，则不用codec打开比较好，可以直接用with...open。