Scrapy 初探

读者最好对 Python 和爬虫有一些了解，所以关于 Scrapy 一些信息比如如何安装的方法等我就不介绍了。

案例

爬下知乎某个话题下面的精华问答，包括推荐回答，回答者，问题简介，问题链接。爬完数据存在本地文件。

新建工程

首先新建一个 Scrapy 工程，在工程目录命令行执行

scrapy startproject zhihu

之后生成的文件有几个是需要我们知道的
items.py 是定义我们的数据结构的
pipelines.py 是处理数据的，一般就在里面存数据库，或者文件
settings.py 是配置爬虫信息，比如 USER_AGENT 还有 ITEM_PIPELINES 这些
./spiders 文件夹下面需要我们建立我们的爬虫程序

编码

在 ./spiders 新建一个 zhihu_questions_spider.py 的文件，定义一个 ZhihuQustionsSpider 类 继承自 CrawlSpider，这是已经编写好的代码

from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy.spiders import Rule, CrawlSpider
from scrapy.linkextractors import LinkExtractor

from zhihu.items import ZhihuQuestionItem


class ZhihuQustionsSpider(CrawlSpider):

    name = "zhihu_qustions_spider"
    allowed_domains = ["www.zhihu.com"]
    start_urls = ['https://www.zhihu.com/topic/19571921/top-answers?page=1']
    rules = (Rule(
        LinkExtractor(
            allow=(r'https://www\.zhihu\.com/topic/19571921/top-answers\?page=\d{2}$')),
        callback='parse_item',
        follow=True), )

    def parse_item(self, response):
        selector = Selector(response)
        item = ZhihuQuestionItem()
        question_name = selector.xpath(
            '//a[@class="question_link"][1]/text()').extract()
        question_url = selector.xpath(
            '//a[@class="question_link"][1]/@href').extract()
        best_answer_author = selector.xpath(
            '//a[@class="author-link"][1]/text()').extract()
        best_answer_summary = selector.xpath(
            '//div[@class="zh-summary summary clearfix"][1]/text()').extract()
        item['question_name'] = [n for n in question_name]
        item['best_answer_author'] = [n for n in best_answer_author]
        item['question_url'] = [
            'https://www.zhihu.com' + n for n in question_url]
        item['best_answer_summary'] = [n for n in best_answer_summary]
        #print (item)
        yield item

name 是爬虫名字，后面会用到
allowed_domains 是允许爬的域名
start_urls 是开始爬的地址
rules 定义什么样的链接是我们需要接着爬的，里面的 callback 就是我们的解析函数
parse_item 是我们解析重要的函数，这里我使用 xpath 解析，不了解可以去网上找教程学习下，里面的元素信息可以通过chrome的开发者调试模式拿到。
items.py

import scrapy
class ZhihuQuestionItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    question_name = scrapy.Field()
    question_url = scrapy.Field()
    best_answer_author = scrapy.Field()
    best_answer_summary = scrapy.Field()
    pass

**pipelines.py **

import codecs
import json

class ZhihuPipeline(object):

    def __init__(self):
        self.file = codecs.open('zhihu_qustions.txt',
                                mode='wb', encoding='utf-8')
    def process_item(self, item, spider):
        line = ''
        for i in range(len(item['question_name'])):
            question_name = {'question_name': str(
                item['question_name'][i]).replace('\n', '')}
            try:
                question_url = {'question_url': item['question_url'][i]}
            except IndexError:
                question_url = {'question_url': ""}
            try:
                best_answer_author = {'best_answer_author': item['best_answer_author'][i]}
            except IndexError:
                best_answer_author = {'best_answer_author': ""}
            try:
                best_answer_summary = {'best_answer_summary': str(
                item['best_answer_summary'][i]).replace('\n', '')}
            except IndexError:
                best_answer_summary = {'best_answer_summary': ""}
            line = line + json.dumps(question_name, ensure_ascii=False)
            line = line + json.dumps(best_answer_author, ensure_ascii=False)
            line = line + json.dumps(best_answer_summary, ensure_ascii=False)
            line = line + json.dumps(question_url, ensure_ascii=False) + '\n'
        self.file.write(line)

    def close_spider(self, spider):
        self.file.close()

初始化打开一个文件，然后在数据处理函数 process_item 转成 json 写到文件里面。
settings.py 加上以下这些

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
ITEM_PIPELINES = {
    'zhihu.pipelines.ZhihuPipeline': 300,
}
DOWNLOAD_DELAY = 1

DOWNLOAD_DELAY 是指每个链接请求的间隔，可以避免太频繁的调用被封。

运行

在工程目录执行

scrapy crawl zhihu_qustions_spider

如果正常的话，就会生成 zhihu_qustions.txt 文件，大概是这样的

shoot.jpeg

源码我我就不传GitHub了，上面基本都包括了