本文解决了大量图片下载的问题。
任务A:爬取妹子图网的图片
分析网页结构：翻页过程中发现网址http://www.meizitu.com/a/more_1.html中的数字“1”是逐渐增加的，也就是说可以用循环解析Request函数去请求翻页的网页爬取内容。分析单页网页结构发现所有图片内容包含在属性class为“wp-item”的li标签中，而翻页内容包含在属性id为“wp-page-numbers”的div标签中。
图一 目录页翻页分析
图二 图片集网页地址分析
图三 单张图片库地址分析
思路是：
1. 循环产生翻页的新网页url，这是主解析函数中的第一次请求
2. 在每个目录页产生一系列图片集页，这是主解析函数中的第二次请求
2. 图片集中解析单张图片图存地址，这是子解析函数
新建工程三连：
scrapy startproject mzt
cd mzt
scrapy genspider mzt_spider meizitu.com
Item编辑：
import scrapy
class MztItem(scrapy.Item)
image_urls=scrapy.Field()
Settings编辑：
# -*- coding: utf-8 -*-
BOT_NAME = 'mzt'
SPIDER_MODULES = ['mzt.spiders']
NEWSPIDER_MODULE = 'mzt.spiders
ROBOTSTXT_OBEY = True
DOWNLOAD_DELAY = 1
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline':1}
IMAGES_STORE = '.'
其中下面三行分别表示：延迟时间1秒，项目管道为scrapy自带的ImagePipeline!图片存储目录为终端当前工作目录。新的scrapy要下载图片需要在python中安装PIL模块：python -m pip install Pillow。设置内容中定义ITEM_PIPELINES很重要。
爬虫主体编写:
# -*- coding: utf-8 -*-
import scrapy
import os
from mzt.items import MztItem
class MztSpiderSpider(scrapy.Spider):
name = 'mzt_spider'
allowed_domains = ['meizitu.com']
start_urls = ['http://meizitu.com/a/more_1.html']
def parse(self, response):
# 这个xpath表达式值得学习。将翻页标签内容匹配换成表达式exp，注意其中包含了中文，在句首加u'的做法！！！其中//...//...连用两次相对路径，a标签查询用的是文本信息[text()="下一页"]而常用的[@属性="值"]！
exp = u'//div[@id="wp_page_numbers"]//a[text()="下一页"]/@href'
_next = response.xpath(exp).extract_first()
# 产生新翻页网页表达式，如上式从第一页的翻页标签中提取的相对路径_next=“more_2.html”: os.path.dirname(response.url)获取response.url的路径（比如说response.url="http://www.meizitu.com/a/more_1.html"，那么函数结果就是把文件名more_1.html去掉的路径部分："http://www.meizitu.com/"，然后用os.path.join将路径(http://www.meizitu.com/a/)和新文件名_next(more_2.html)组合成新链接的结果。注意这里调用了python的系统模块os。
next_page=os.path.join(os.path.dirname(response.url),_next)
# 由新链接请求新网页，回调到自身parse函数，也就是同样的方法解析新网页产生新链接（循环）
yield scrapy.FormRequest(next_page,callback=self.parse)
# 在每个分析的网页中有许多图片，提取该单个网页下所有图片的链接信息，请求网页图片链接的地址，这里回调函数会解析子网页中的单个图片链接
for p in response.xpath('//li[@class="wp-item"]//a/@href').extract():
yield scrapy.Request(p,callback=self.parse_item)
def parse_item(self,response):
item=MztItem()
urls=response.xpath("//div[@id='picture']//img/@src").extract()
item['image_urls']=urls
return item
最后运行爬虫scrapy crawl mzt_spider，发现爬虫文件夹多了一个名为full的子文件夹，里面包含了想要爬取的图片内容。
图四 爬取的图片内容
纵观整个爬虫，每个循环会先后打开三个网页（第一是目录网页，需要翻页；第二是图片集网页用来解析单个图片地址；第三个是具体图片的存放链接地址）。对于多级爬取的方法，这个例子也十分重要。最后
重点学习图片下载和多级爬取。
网友评论