美文网首页
Scrapy将抓取到的图片保存到不同目录下

Scrapy将抓取到的图片保存到不同目录下

作者: 腿长袖子短 | 来源:发表于2018-01-12 10:41 被阅读2366次
    • scrapy抓取图片时,通常情况下所有图片都会被保存到IMAGES_STORE指定路径下的full这个目录下,但是很多情况下我们抓取的图片都需要根据不同的属性分类,创建相关目录保存,所以scrapy这种默认统一的保存形式就跟不上需求了,研究后,解决这一问题,废话不多说,直接上代码(求各位大神轻喷)

    • spider.py文件

    # -*- coding: utf-8 -*-
    import scrapy
    from scrapy.linkextractors import LinkExtractor
    from scrapy.spiders import CrawlSpider, Rule
    from renti.items import RentiItem
    
    
    class RtSpider(CrawlSpider):
        name = 'rt'
        allowed_domains = ['www.666rt.co']
        start_urls = ['http://www.666rt.co/ArtZG/']
    
        rules = (
            Rule(LinkExtractor(allow=r'list\d+.html')),
            Rule(LinkExtractor(allow=r'ArtZG/\d+/$')),
            Rule(LinkExtractor(allow=r'www.666rt.co/ArtZG/\d+/\d+.html'), callback='parse_item', follow=True),
        )
    
    
        def parse_item(self, response):
            item = RentiItem()
            item['img_path'] = response.xpath("//title/text()").extract()[0].split('-')[0]
            item['img_name'] = response.xpath("//div[@class='imgbox']/a/img/@alt").extract()[0]
            item['img_url'] = 'http://www.666rt.co%s'%response.xpath("//div[@class='imgbox']/a/img/@src").extract()[0]
            yield item
    
    • items.py
    # -*- coding: utf-8 -*-
    
    import scrapy
    
    class RentiItem(scrapy.Item):
        img_path = scrapy.Field()
        img_name = scrapy.Field()
        img_url = scrapy.Field()
    
    • pipelines.py
    # -*- coding: utf-8 -*-
    
    # 导入这个包为了移动文件
    import shutil
    # 这个包不解释
    import scrapy
    
    # 导入项目设置
    from scrapy.utils.project import get_project_settings
    
    # 导入scrapy框架的图片下载类
    from scrapy.contrib.pipeline.images import ImagesPipeline
    
    # 这个包不解释
    import os
    
    class ImagesPipeline(ImagesPipeline):
    
        # 从项目设置文件中导入图片下载路径
        img_store = get_project_settings().get('IMAGES_STORE')
    
        # 重写ImagesPipeline类的此方法
        # 发送图片下载请求
        def get_media_requests(self, item, info):
            img_url = item['img_url']
            yield  scrapy.Request(img_url)
    
        # 重写item_completed方法
        # 将下载的文件保存到不同的目录中
        def item_completed(self, results, item, info):
            image_path = [x["path"] for ok, x in results if ok]
    
            # 定义分类保存的路径
            img_path = "%s%s"%(self.img_store, item['img_path'])
            # 目录不存在则创建目录
            if os.path.exists(img_path) == False:
                os.mkdir(img_path)
    
            # 将文件从默认下路路径移动到指定路径下
            shutil.move(self.img_store + image_path[0], img_path + "\\" + item["img_name"] + '.jpg')
    
            item["img_path"] = img_path + "\\" + item["img_name"] + '.jpg'
            return item
    
    • settings.py的设置这里就不写了,因为没有什么好写的,主要就是IMAGES_STORE,其他的根据自己的项目需求设置
      这里实现图片保存到不同目录下的功能,只要作用函数就是shutil.move(),将图片从原始的默认路径移动到指定的目录下,实现需求

    相关文章

      网友评论

          本文标题:Scrapy将抓取到的图片保存到不同目录下

          本文链接:https://www.haomeiwen.com/subject/eawxoxtx.html