本人是一个漫画迷，也是一个爬虫新手，由于很不喜欢动漫之家的阅览体验，进而有了这一次的动漫之家漫画下载的小项目，也是由于懒惰的原因选择了selenium来爬取动态页面。

首先：

选择想要爬取的漫画，这里我随便选择了一个漫画来做实验。

获取这个漫画的URL地址：https://www.dmzj.com/info/jinglingzhidan.html

在这个章节页面中使用开发者工具，查看网页的源代码获取章节的URL所在的xpath路径备用

//div[contains(@class,"tab-content zj_list_con ")]/ul[contains(@class,"list_con_li")]/li/a/@href

章节列表.png
章节列表-标签.png

进入漫画页面，获取所有图片地址的xpath路径，以及图片的数量为拼接地址备用

//div[@class="btmBtnBox"]/select[@id="page_select"]/option

漫画页.png

直接访问图片地址发现报403错误

403报错.png

使用开发者工具检查请求头发现无法直接访问图片，服务器需要验证来源页

referer: https://www.dmzj.com/view/jinglingzhidan/60957.html

验证来源页.png

开始敲代码：

下面是我们需要用到的库

from selenium import webdriver
from selenium.webdriver.common.by import By
import requests
from lxml import etree
import os
import time
from random import uniform

构思一下大概的工作流程

def main():
    url = "https://www.dmzj.com/info/jinglingzhidan.html"
    html = getMainPage(url)
    page = getChapters(html)
    image = getImage(page)
    saveImage(image)

if __name__ == "__main__":
    main()

获取章节页面（这里因为不是动态页面，所以直接用requests读取）

def getMainPage(url):
    '''获取章节页面'''
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) \
        AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
      }
      '''异常管理'''
    try:
        response = requests.get(url, headers = headers)
        if response.status_code == 200:
            return response.text
    except:
        print(response.status_code)

使用lxml中的etree进行网页的解析，然后使用xpath获取所有的章节地址

def getChapters(html):
    '''获取章节URL地址'''
    html = etree.HTML(html)
    chapters = html.xpath('//div[contains(@class,"tab-content zj_list_con ")]/ul[contains(@class,"list_con_li")]/li/a/@href')
    return chapters

拿到所有的的章节地址之后，因为是动态页面，所以偷懒使用了selenium进行网页的抓取。然后使用xpath定位章节中所有的图片地址，章节名，书名等信息，使用生成器返回所需要的数据。最后，关闭浏览器。

def getImage(pages):
    '''获得章节图片页数'''

    browser = webdriver.Chrome()
    for page in pages:
        # print(str(page))
        browser.get(str(page))
        page_num = browser.find_elements_by_xpath('//div[@class="btmBtnBox"]/select[@id="page_select"]/option')
        # wait = WebDriverWait(browser,10)
        # wait.until(EC.presence_of_element_located((By.XPATH,'//div[@class="btmBtnBox"]/select[@id="page_select"]')))
        print(len(page_num)) #获取页面数用来计数
        '''使用for循环遍历所有的图片'''
        for num in range(1, len(page_num)+1):
            '''拼接图片URL地址，获取书名，章节名'''
            image_page = str(page)+ "#@page={num}".format(num=num)
            browser.get(image_page)
            image_url = browser.find_element_by_xpath('//div[contains(@class,"comic_wraCon")]/img')
            book_title = browser.find_element_by_xpath('//div[@class="head_title"]/h1/a')
            chapter_title = browser.find_element_by_xpath('//div[@class="head_title"]/h2')
            page_image = image_url.get_attribute('src')
            book_name = book_title.text
            chapter_name = chapter_title.text

            print("+" *60)
            '''因为是犯懒所以没有使用代理池，为了不被封IP地址，所以使用了随机的0到3秒的休眠'''
            t = uniform(0,3)
            print(t)
            time.sleep(t)
            # print(page_image)
            # print(book_name)
            # print(chapter_name)
            yield page_image, book_name, chapter_name, num, page
        # break

    browser.close()

这里因为不是动态页面，所以继续使用requests节省资源，把获取到的数据使用os库写入到本地文件夹

def saveImage(image):
    for im, name, title, page, referer_page in image:
        '''注意referer，动漫之家的图片是不能直接访问图片的，需要验证来源页'''
        headers = {
            'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) \
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
            'referer': referer_page,
          }
        image_response = requests.get(im, headers=headers)
        '''把获取到的文件写入文件夹'''

        if not os.path.exists('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}'.format(name=name)):
           os.mkdir('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}'.format(name=name))
        if not os.path.exists('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}/{title}'.format(name=name, title=title)):
           os.mkdir('/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}/{title}'.format(name=name, title=title))

        if image_response.status_code == 200:
            file_path = '/Users/admin/Desktop/HOMEWORK/python3教程/spider/images/{name}/{title}/{page}.{jpg}'\
            .format(name=name, title=title, page=page, jpg='jpg')
            if not os.path.exists(file_path):
                with open(file_path,"wb") as f:
                    f.write(image_response.content)
        else:
            print(image_response.status_code)

最后把文件储存为dmzj_selenium.py文件，然后在终端中直接运行

python3 dmzj_selenium.py

爬下来的文件

文件.png