思路

这次爬漫画屋。过程挺有意思的，因为我遇到了一种新的反爬技术。爬取的过程主要分为三部分：从漫画书列表中将每本书的页面地址都爬出来（index_parser）；在书籍页面中把每一话的地址爬出来（book_parser）；将每一话中所有的图片爬出来（chapter_parser），最后保存图片。

index_parser

程序的入口是网站的搜索与页面，比如我要爬取漫威所有的漫画，URL是https://www.dm5.com/search?title=Marvel+Comics+&language=1；DC的是https://www.dm5.com/search?title=DC&language=1，你也可以不添加搜索条件，直接爬所有的漫画。

网页是静态的，用选择器很容易将书籍页面的URL过滤出来，直接给出代码：

def index_page_parser(url):
    req = requests.ohRequests()
    headers = {
        'Referer':
            'https://www.dm5.com/manhua-bianfuxia-fuzhizuiqian'
        }

    content = req.get(url, headers=headers, verify=False)

    soup = BeautifulSoup(content, 'lxml')

    mh_list = soup.find_all('ul', class_='mh-list')[0]
    mh_items = mh_list.find_all('li')

    for mh_item in mh_items:
        BOOK_URLS.append(DOMAIN + mh_item.find('a').get('href'))

    pager = soup.find_all('div', class_='page-pagination')[0]
    pager = pager.find_all('li', text=re.compile('>'))

    if not pager:
        return None

    return DOMAIN + pager[0].a.get('href')

如果有下一页会返回下一页的URL，否则返回None。

book_parser

书籍页面也是静态页面，且不存在下一页的问题，它会把所有话都列在同一个页面里，代码如下：

def book_page_parser(url):
    req = requests.ohRequests()
    headers = {
        'Referer':
            'https://www.dm5.com/manhua-bianfuxia-fuzhizuiqian'
        }

    content = req.get(url, headers=headers, verify=False)

    soup = BeautifulSoup(content, 'lxml')

    view_win_list = soup.find_all('ul', class_='view-win-list')[0]

    chapter_list = view_win_list.find_all('li')

    for chapter in chapter_list:
        a = chapter.a
        #span = chapter.a.span.text.strip()
        #n = re.findall('\d+', span)

        print (a.text.replace(' ', ''), DOMAIN + a.get('href'))

chapter_parser

这是最有意思的一部分，经过分析报文的情况，这部分的报文主要分为两种。

第一种是访问第一页时（即book_parser里抓到的URL）涉及到的几个参数，这几个参数包含的返回的HTML页面里，但是是以js混淆的形式存在，因此只能用正则表达式抓取。这几个值分别是：cid, key，_cid, _mid, _dt和_sign，抓取用的正则式：

pattern = re.compile(
    '.*?DM5_MID=(.*?);'
    '.*?DM5_CID=(.*?);'
    '.*?DM5_IMAGE_COUNT=(.*?);'
    '.*?DM5_VIEWSIGN=(.*?);'
    '.*?DM5_VIEWSIGN_DT=(.*?);.*?'
    , re.S)

第二类的报文是在获取了上述五个参数后，构建的XHR请求（几张图片就是几张请求）。XHR请求的格式是：

url = "https://www.dm5.com/m192438/chapterfun.ashx?cid={0:s}&page={1:d}&key=&language=1&gtk=6&_cid={2:s}&_mid={3:s}&_dt={4:s}&_sign={5:s}".format(
            cid, i, cid, mid, date.replace('"',''), sign.replace('"','')
            )

之后，如果顺利，服务器会返回一个混淆过的js代码，类似于：

function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('n 8(){2 6=4;2 7=\'9\';2 5="o://l-m-p-s-t.q.r/c/e/4";2 3=["/b.1","/a.1","/j.1","/k.1","/f.1","/g.1","/h.1","/u.1","/F.1","/E.1","/D.1","/G.1","/J.1","/H.1","/I.1","/C.1","/x.1","/w.1","/v.1","/y.1"];B(2 i=0;i<3.A;i++){3[i]=5+3[i]+\'?6=4&7=9\'}z 3}2 d;d=8();',46,46,'|jpg|var|pvalue|192438|pix|cid|key|dm5imagefun|f021da58fee8a43ca1f3b4a9ffca7830|24_2773|23_8178|14||13885|27_4139|28_5795|29_4988||25_8727|26_2275|manhua1023|104|function|https|250|cdndm5|com|150|10|30_4364|41_1257|40_5739|39_6576|42_1819|return|length|for|38_7313|33_1379|32_5146|31_1352|34_2982|36_1112|37_8570|35_7619'.split('|'),0,{})

将它改造为：

function run(){return function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('h 8(){1 5=3;1 7=\'9\';1 6="g://f-k-j-a-b.e.c/l/q/3";1 2=["/p.4","/r.4"];m(1 i=0;i<2.n;i++){2[i]=6+2[i]+\'?5=3&7=9\'}o 2}1 d;d=8();',28,28,'|var|pvalue|192438|jpg|cid|pix|key|dm5imagefun|43c9fb3033a4e5bc2b2807a028183b8d|150|10|com||cdndm5|manhua1023|https|function||250|104|14|for|length|return|22_5040|13885|23_8178'.split('|'),0,{})}

这样的形式，用exejs库执行这个fun方法，它会返回另一段js代码：

function dm5imagefun(){var cid=192438;var key='43c9fb3033a4e5bc2b2807a028183b8d';var pix="https://manhua1023-104-250-150-10.cdndm5.com/14/13885/192438";var pvalue=["/22_5040.jpg","/23_8178.jpg"];for(var i=0;i<pvalue.length;i++){pvalue[i]=pix+pvalue[i]+'?cid=192438&key=43c9fb3033a4e5bc2b2807a028183b8d'}return pvalue}var d;d=dm5imagefun();

因此，这个时候构建图片真实地址的参数，其实都可以抓取出来了。当然，我也可以再次用exejs库执行这段代码，会返回一个图片URL列表：

['https://manhua1023-104-250-150-10.cdndm5.com/14/13885/192438/22_5040.jpg?cid=192438&key=43c9fb3033a4e5bc2b2807a028183b8d', 'https://manhua1023-104-250-150-10.cdndm5.com/14/13885/192438/23_8178.jpg?cid=192438&key=43c9fb3033a4e5bc2b2807a028183b8d']

这个列表的第一项就是当前图片的URL。

这种用js代码混淆js代码的方式，我还是第一次遇到。不过说实话，其实看到第一段js代码中这么多|就知道这是突破口了，能不能把这些|再混淆一下呢？

最后将图片保存下来就行了。

思考

执行的过程中，我发现这个网站的响应非常慢，如果要大规模抓取，分布式或协程可以说是必须的。另外增量式的抓取也要考虑，因为漫画一般都是以话为单位做唯一性校验。

但是会不会爬的时候某一话少了一张图片呢？