scrapy

1、安装scrpay
pip install -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com scrapy

import scrapy
class QuotesSpider(scrapy.Spider):

    # 定义名称
    name = 'quotes'

    # 定义需要爬取的地址，scrapy在执行爬取命令时首先会请求该地址
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    # 默认的回调函数，scrapy请求完成地址时，会调用parse函数
    def parse(self, response):

        # 循环标签元素为div的quote属性列表
        for quote in response.css('div.quote'):

            # 使用生成器生成一个包含author和text属性的dict
            yield {
                'author': quote.xpath('span/small/text()').get(),
                'text': quote.css('span.text::text').get(),
            }
        # 查看是否存在下一页
        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            # 继续调用下一页
            yield response.follow(next_page, self.parse)

运行spider
scrapy runspider quotes_spider.py -o quotes.json
运行效果如下

image.png

2、使用scrapy创建项目
scrapy startproject tutorial

目录结构如下

image.png

在tutorial/tutorial/spiders下创建一个quotes_spider的文件

import scrapy
class QuotesSpider(scrapy.Spider):
    name = "quotes"

    # 如果不定义该方法，scrapy默认会调用该函数

    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):

        # 获取倒数第二个元素
        page = response.url.split("/")[-2]
        print('------------------------------')
        print(page)
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

# 我们可以用下面更简洁的方法

import scrapy
  class QuotesSpider(scrapy.Spider):
  name = "quotes"
  start_urls = [
      'http://quotes.toscrape.com/page/1/',
      'http://quotes.toscrape.com/page/2/',
  ]

  def parse(self, response):
      page = response.url.split("/")[-2]
      filename = 'quotes-%s.html' % page
      with open(filename, 'wb') as f:
          f.write(response.body)

在最顶层的tutorial目录执行scrapy crawl quotes，就会下载两个html页面

image.png

3、我们也可以直接使用scrapy shell 爬取数据，windows下需要使用双赢号
scrapy shell "http://quotes.toscrape.com/page/1/"

执行脚本的效果如图

image.png

接下来我们就可以在本地console获取响应体的类容

image.png

获取包含特定标签的html标签
response.css('title')

获取包含指定标签的所有内容
response.css('title::text').getall()

获取包含指定标签的所有标签
response.css('title').getall()

获取包含指定标签的第一个内容
response.css('title::text').get()
response.css('title::text')[0].get()

使用正则匹配数据
response.css('title::text').re(r'Quotes.*')

scrapy 除了css选择器还支持xpath进行数据选择

image.png

5、上面保存的直接是html页面，接下来我们从页面提取数据到json

案例2：爬取网页并把数据提取到json文件中

import scrapy
class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            # python使用yield关键字提取数据
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

6、上面爬取的是两个网页，但是我们经常需要爬取整个网页，这时就需要用到翻页爬取
下面还是以http://quotes.toscrape.com/page/1/网页进行分析

<ul class="pager">
    <li class="next">
        <a href="/page/2/">Next <span aria-hidden="true">&rarr;</span></a>
    </li>
</ul>

我们先使用scrapy shell演示提取下页

scrapy shell "http://quotes.toscrape.com/page/1/"
获取a标签
>>> response.css('li.next a').get()
'<a href="/page/2/">Next <span aria-hidden="true">→</span></a>'
获取href属性内容，scrapy有两种方式获取
第一种方式
>>> response.css('li.next a::attr(href)').get()
'/page/2/
第二种方式
>>> response.css('li.next a').attrib['href']
'/page/2/'

接下来我们使用几种方式递归提取数据
下面的案例都可以在根目录执行程序，可以生成json和jl文件，jl(json line),jl的优点是不管你执行多少次，文件都不会报错，它总是一行一行追加到文件

image.png

案例1
class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

            next_page = response.css('li.next a::attr(href)').get()
          
            # 当没有下一页地址时，就不再生成新请求
            if next_page is not None:
                next_page = response.urljoin(next_page)
                # 生成一个新的请求，并把新的请求地址作为参数回调parse函数
                yield scrapy.Request(next_page, callback=self.parse)

"""
案例2，使用request.follow函数，自动关联url，不需要urljoin
"""
import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        next_page = response.css('li.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, callback=self.parse)

"""
案例3，直接循环标签属性href
"""

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):

        # 这里第一次提取第一页数据
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        # for循环css选择器从response a标签href属性得到的列表，如果包含下一页标签元素，就重新生    
        #成一 个新的请求回调parse函数
        for href in response.css('ul.pager a::attr(href)'):
            yield response.follow(href, callback=self.parse)

"""
案例4 直接循环a标签更简洁的方式
"""
import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):

        # 这里第一次提取第一页数据
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        # 直接使用a标签生成新的请求，如果存在的新的请求就会回调parse函数
        for a in response.css('ul.pager a'):
            yield response.follow(a, callback=self.parse)

"""
案例5，使用follow_all替代follow，与follow不同的事，follow_all可以创建多个请求，不需要像上面循环获取到的标签列表，response.css('ul.pager a')获取的是一个列表，所以需要for循环得到每一个a标签，follow每次只能处理一次请求。
"""

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):

        # 这里第一次提取第一页数据
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        # 使用follow_all创建多个请求，这样多个请求可以被follow_all处理
        anchors = response.css('ul.pager a')
        yield from response.follow_all(anchors, callback=self.parse)

"""
案例6 follow_all的简化方式
"""
import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]

    def parse(self, response):

        # 这里第一次提取第一页数据
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

        # follow_all更简洁的写法，使用选择器
        yield from response.follow_all(css='ul.pager a', callback=self.parse)

上面的例子都是在一次请求中提取数据，很多时候需要多次请求才能得到我们的数据，比如我们要获取http://quotes.toscrape.com/每一个页面的所有作者的相关信息。

第一次请求是获取到了第一页的所有作者列表，

image.png

点击作者链接才得到具体的作者详情

image.png
接下来我们一起看看如何获取上面的数据

先一起看下selector的使用
我们要获取class=author下面的a标签的地址，从图中可以看出a标签是没有选择器的并且紧跟author选择器的
首先执行scrapy shell http://quotes.toscrape.com/](http://quotes.toscrape.com/
我们着重看data数据，可以看到data数据刚好是author选择器的标签

image.png
下面我们使用 response.css('.author + a')，获取a标签
我们可以看到data的数据是我们需要的a标签，并且是一个list集合，因为在一个页面存在多个作者的详情链接
image.png
我们从首页获取下一页的a标签，可以看到list集合只有一个值，因为每一页只有一个指向下一页的标签
image.png

"""
案例7
"""
import scrapy


class AuthorSpider(scrapy.Spider):
    name = 'author'

    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        
        # 获取页面所有作者详情链接，得到一个list集合
        author_page_links = response.css('.author + a')
        """
        上面有讲过,follow_all可以处理多个请求,需要注意的是这里不再将作者详情的链接回调，而是自定义一个解析函数来专门解析作者详情链接地址，
        因为本parse函数会不断获取作者列表的地址，也就是每一页的next，每一页包含多个作者详情的链接，交给自定义parse_author函数，这样follow_all每次会生成多个作者详情的请求，
        其实内部是一次一次发送给parse_author的，这样本parse每循环一次请求，parse_author就会执行多次，直到所有页面的所有作者详情执行获取完毕
        """
        yield from response.follow_all(author_page_links, self.parse_author)

        pagination_links = response.css('li.next a')
        yield from response.follow_all(pagination_links, self.parse)

    def parse_author(self, response):
        print("URL:" + response.request.url)
        def extract_with_css(query):
            print("query:" + query)
            return response.css(query).get(default='').strip()

        yield {
            'name': extract_with_css('h3.author-title::text'),
            'birthdate': extract_with_css('.author-born-date::text'),
            'bio': extract_with_css('.author-description::text'),
        }

author名称需要和spider定义的name一致
执行scrapy crawl author -o author.jl

获取到的数据如图

image.png