用 Python 下载漫画

ReLIFE

1. 开篇

前一阵子看了 Relife 这部七月番动画，短短 13 集很快就看完，深深无法自拔，然后去查了下，发现原来是改编自漫画的，于是立马去找漫画的资源，但是搜来搜去都没有找到资源下载，虽然有 cncomico 可以提供在线看，但是我比较喜欢下载下来放到手机上看（强迫症），于是就想到可以用 Python 抓取图片下载。

2. 开干

2.1. 分析目标网站

在用 Python 真正抓取数据前，肯定是要先分析我们要获取的数据以及目标网站的内容。

1. 首先打开我们要抓取的目标漫画的内容页：Relife，然后查看其源代码
   

   源代码

2. 通过分析源代码，我们可以看到以下内容：

   
   

3. 其中每个链接都代表一话的链接，并且链接的格式都是 http://www.cncomico.com/detail.nhn?titleNo=1&articleNo=%d&vm=tit_als ；

4. 同时联系到 Relife 的主页 http://www.cncomico.com/articleList.nhn?titleNo=1 ；

5. 因此我们可以得出：每一话的链接为 http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als，其中 titleNo=a&articleNo=b 里的 a 代表一幅�漫画的编号（Relife 为 1），b 代表漫画的章节。

6. 并且可以知道 http://www.cncomico.com/articleList.nhn?titleNo=1 的最上面的话的链接即为最新章；

7. 通过上面我们获取到了每一话的链接，接下来就是到各话的链接去，比如 Relife 136话，同样分析其源代码，我们可以在其源代码中看到以下内容：
   

   
   上面的链接即为漫画中各张图片的链接，接下来的工作就只需要通过这些链接把图片给下载到本地即可。

8. 通过上面的分析，我们整理得出以下的编码结构：

9. 指定要下载的漫画，此处为 Relife ，即 titleNo=1；

10. �获取要下载的漫画的最新章节；

11. ��通过上面得到的链接规则：http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als，从第1话循环下载到最新话。

2.2. 编码

1. 首先，设置要下载的漫画的 titleNo，并且按每话的链接规则构建出通用链接

titleNo = 1;
base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'

2. 获取最新的章节

# 获取最新章节
def get_last_chapter(titleNo):
    page_link = 'http://www.cncomico.com/articleList.nhn?titleNo=' + str(titleNo)
    rsp = req.get(page_link)
    rsp.encoding = 'utf-8'
    text = rsp.text
    chapter_links = re.findall('"((http)s?://.*?(&vm=tit_als))"', text)
    last_chapter_link = chapter_links[0][0]
    last_chapter_num = int(re.findall("articleNo=(.+?)&vm=tit_als", last_chapter_link)[0])
    return last_chapter_num

3. 获取每一章节的图片链接

# 获取特定章节的内容
def get_chapter_data(chapter_url):
    rsp = req.get(chapter_url)
    rsp.encoding = 'utf-8'
    text = rsp.text
    image_data = re.findall('"((http)s?://comicimg.*?(jpg))"', text)
    image_links = []
    for item in image_data:
        image_links.append(item[0])
    return image_links;

4. 根据图片链接下载所有的图片

# 下载指定链接内容
def download_files(urls, dir_path):
    if os.path.exists(dir_path) == False:
        os.makedirs(dir_path)
    for idx, link in enumerate(urls):
        book_name = link.split('/')[-1]
        full_name = dir_path + book_name
        if os.path.isfile(full_name) == False:
            r = req.get(link, stream=True)
            with open(full_name, 'wb') as f:
                for chunk in r.iter_content(chunk_size=1024):
                    if chunk:
                        f.write(chunk)
                        f.flush()
                f.close()
                print('download ' + book_name + ' finished')

5. 循环下载所有章节（包含主逻辑及用到的库）

import os
import requests as req
from bs4 import BeautifulSoup as bs
import re
titleNo = 1;
base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'
last_chapter = get_last_chapter(titleNo)
for index in range(1, last_chapter + 1):
        chapter_url = base_url %(index)
       chapter_data = get_chapter_data(chapter_url)
        download_files(chapter_data, './relife/chapter' + str(index) + '/')

2.3. 下载

执行以上脚本，待执行完成，在当前目标会**创建一个 relife **的目录，其中包含所有的漫画资源。

3. 结尾

虽然上面的脚本只是下载了 Relife ，但从 cncomico 的源代码来看，完全可以下载全站的所有漫画，主要是 http://www.cncomico.com/articleList.nhn?titleNo=1 中的 titleNo=1，比如 1 是 Relife，2 是 粉爱这一家，按此类推。

4. 相关资源

1. comico_relife.py