美文网首页python@IT·互联网程序员
爬虫课堂(二十四)|使用Splash爬取京东商城的动态信息(2)

爬虫课堂(二十四)|使用Splash爬取京东商城的动态信息(2)

作者: 小怪聊职场 | 来源:发表于2018-03-30 18:32 被阅读420次

    在前面的二十三章节,我们讲解搭建了Splash的环境,这一章节通过一个实战来讲解Splash的使用。
    一、分析页面的数据是否是动态加载的数据
    https://item.jd.com/2600240.html为例,先使用如下方法查看里面哪些数据是需要动态获取的,执行如下命令。
    $ scrapy shell https://item.jd.com/2600240.html
    运行结果如下图24-1所示:

    图24-1

    再执行view(response),如下图24-2。

    图24-2

    将会在浏览器打开新页面,如图24-3所示:

    图24-3

    从图上的结果可以得知,京东价等信息都是没有显示的,说明这些信息是动态获取的,无法直接通过response.xpath()方式获取到。
    正常情况下的信息如下图24-4所示,京东价为2799.00。

    图24-4
    当然,我们也可以使用xpath直接获取下试试能不能拿到这个数据。先用浏览器分析下京东价的HTML的结构,如下图24-5所示。 图24-5

    在shell分别执行如下命令:

    response.xpath('//span[@class="p-price"]/span/text()').extract()
    response.xpath('//span[@class="p-price"]/span[@class="price J-p-2600240"]/text()').extract()
    

    得到的结果如下图24-6所示:

    图24-6

    很明显,我们只能获取到,无法获取到2799.00,因为2799.00数据是动态填充的。
    二、爬取动态加载的数据
    遇到这种动态加载的数据时,不要慌,有很多种解决方法,其中之一就是使用Splash,在使用之前需要搭建Splash环境,具体查看爬虫课堂(二十三)|使用Splash爬取动态页面(1),接下来就是编写具体的代码。完整代码如下:

    # -*- coding: utf-8 -*-
    import scrapy
    from scrapy import Request
    from scrapy.spiders import Spider
    from scrapy_splash import SplashRequest
    from scrapy_splash import SplashMiddleware
    from scrapy.http import Request, HtmlResponse
    from scrapy.selector import Selector
    from scrapy_splash import SplashRequest
    
    class SplashSpider(Spider):
        name = 'scrapy_splash'
        start_urls = [
            'https://item.jd.com/2600240.html'
        ]
    
        # request需要封装成SplashRequest
        def start_requests(self):
            for url in self.start_urls:
                yield SplashRequest(url, self.parse, args={'wait': '0.5'})
    
        def parse(self, response):
            # 本文只抓取一个京东链接,此链接为京东商品页面,价格参数是ajax生成的。
            site = Selector(response)
            # 京东价
            prices = site.xpath('//span[@class="p-price"]/span[@class="price J-p-2600240"]/text()').extract()[0]
            print '京东价:' + prices
    

    运行 scrapy crawl scrapy_splash即可。

    相关文章

      网友评论

      • catsled:我觉得如果你写的更深入一些,效果绝对很棒,看了你的好多笔记感觉总是浅尝辄止,其实大部分问题不太容易解决:joy:
        小怪聊职场:@catsled 嗯,好哦,我也还在写这个相关的书籍,会比这个细一些

      本文标题:爬虫课堂(二十四)|使用Splash爬取京东商城的动态信息(2)

      本文链接:https://www.haomeiwen.com/subject/tsmicftx.html