爬虫学习

---

1. 目的：爬取壁纸并保存到本地
2. 目标网站： http://desk.zol.com.cn/dongman/
3. 要求：
   1.壁纸必须保存到脚本运行目录下的的 IMAGES文件夹内。
   2.保存的图片必须以对应标题名和分辨率来命名，如：秋田君的小漫画 - 1920x1200.jpg。
   3.图片分辨率应该是可选分辨率中最高的。
   4.提示信息格式：正在下载 (下载数量)：(图片名字)。
   5.要有错误处理并给出相应提示，如：图片下载失败、网络超时的处理等。
4. 要用到的Python库
   requests(需安装)
   os
   lxml中的etree(xpath)(需安装)

---

Let's go!

首先，建立一个文件夹来保存图片

folder = os.path.exists("IMAGES")
if not folder:
    os.makedirs("IMAGES")

引入所需的库

from lxml import etree
import requests
import os

接下来写一个解析html的函数，参数为要获取的网址，用etree解析目标网页

def get_dom(url):
    r = requests.get(url)
    r.encoding = r.apparent_encoding
    dom = etree.HTML(r.text)
    return dom

接着，我们要进入每个图片的下载网页
利用xpath定位下载网页的herf
并且同时找到进入下一页的url

下载网页.png 下一页.png

代码实现如下
next_page_url找不到匹配的URL时代码返回None

def get_images_page(url):
    dom = get_dom(url)
    image_urls = dom.xpath('//li[@class="photo-list-padding"]//a/@href')
    try:
        next_page_url = dom.xpath('//a[@id="pageNext"]/@href')[0]
    except:
        next_page_url = None
    return image_urls, next_page_url

可选.png
不可选.png

抓取图片的同时，我们要把图片的名字的像素也抓出来
max_url和max_f的列表取第一项是为了获取其最大分辨率的图片
但是我们发现有的图片的选择框里没有可选项
这时我们就需要直接提取页面中960*600分辨率的大图
我选择使用try语句让代码在爬取不到可选最大分辨率时去选择页面中的大图
（这里也可以利用len函数判断字符串长度是否为零来作为判断条件）

页面中.png

代码如下，通过TRY来使得两种方式选择进行
PS：max_f为图片的分辨率
在获取到图片的SRC之后还需要利用requests获取后再转换为content

def get_image_info_AND_content(url):#提取图片信息及图片的content
    dom = get_dom(url)

    image_name = dom.xpath('//a[@id="titleName"]/text()')[0]
    try:
        max_url = dom.xpath('//dd[@id="tagfbl"]//a/@href')[0]
        max_f = dom.xpath('//dd[@id="tagfbl"]//a/text()')[0] 
        max_dom = get_dom( 'http://desk.zol.com.cn' + max_url)
        max_src = max_dom.xpath('//img//@src')[0]
        r_2 = requests.get(max_src)
        content = r_2.content
        
        return image_name, max_f, content
    except:
        max_src = dom.xpath('//*[@id="bigImg"]/@src')[0]
        r_2 = requests.get(max_src)
        content = r_2.content
        max_f = "960x600"
        return image_name,max_f , content

终于终于到了下载环节

def save_image(image_name, content):
    with open('IMAGES/%s.jpg'%image_name, 'wb') as f:
        f.write(content)

最后是爬虫的主体部分
用一个while True的语句来使代码自然运行结束
再加上一些提示性语句，这个小爬虫就算写完了
O(∩_∩)O
PS：因为爬取出的图片及下一页的链接是缺失host的，需要在这里加上

start_url = '/dongman/1.html'
host = 'http://desk.zol.com.cn'

flag = True
while flag:
    image_urls, next_page_url = get_images_page(host+start_url)

    for image_url in image_urls:
        image_name, max_f, content = get_image_info_AND_content(host+image_url)
        try:
            save_image(f'{image_name}-{max_f}', content)
            print("下载成功：%s"%image_name)
        except:
            print("下载失败：%s"%image_name)
#此image_name非彼image_name
    start_url = next_page_url

    if next_page_url == None:
        flag = False

最后，附上完整代码

#-*- coding: utf-8 -*
__author__ = 'XZL'
import requests
import os
from lxml import etree

folder = os.path.exists("IMAGES")
if not folder:
    os.makedirs("IMAGES")

def get_dom(url):
    r = requests.get(url)
    r.encoding = r.apparent_encoding
    dom = etree.HTML(r.text)
    return dom

def get_images_page(url):
    dom = get_dom(url)
    image_urls = dom.xpath('//li[@class="photo-list-padding"]//a/@href')
    try:
        next_page_url = dom.xpath('//a[@id="pageNext"]/@href')[0]
    except:
        next_page_url = None
    return image_urls, next_page_url



def get_image_info_AND_content(url):
    dom = get_dom(url)

    image_name = dom.xpath('//a[@id="titleName"]/text()')[0]
    try:
        max_url = dom.xpath('//dd[@id="tagfbl"]//a/@href')[0]
        max_f = dom.xpath('//dd[@id="tagfbl"]//a/text()')[0] 
        max_dom = get_dom( 'http://desk.zol.com.cn' + max_url)
        max_src = max_dom.xpath('//img//@src')[0]
        r_2 = requests.get(max_src)
        content = r_2.content
        
        return image_name, max_f, content
    except:
        max_src = dom.xpath('//*[@id="bigImg"]/@src')[0]
        r_2 = requests.get(max_src)
        content = r_2.content
        max_f = "960x600"
        return image_name,max_f , content
        

def save_image(image_name, content):
    with open('IMAGES/%s.jpg'%image_name, 'wb') as f:
        f.write(content)

start_url = '/dongman/1.html'
host = 'http://desk.zol.com.cn'

flag = True
while flag:
    image_urls, next_page_url = get_images_page(host+start_url)

    for image_url in image_urls:
        image_name, max_f, content = get_image_info_AND_content(host+image_url)
        try:
            save_image(f'{image_name}-{max_f}', content)
            print("下载成功：%s"%image_name)
        except:
            print("下载失败：%s"%image_name)
#此image_name非彼image_name
    start_url = next_page_url

    if next_page_url == None:
        flag = False