Node爬取腾讯漫画资源(HTTP方式)

之前谈到用puppeteer无头浏览器来转去腾讯漫画资源（puppeteer爬取腾讯漫画资源），这次给出不借助浏览器，分析获取漫画资源的方法。

先上代码：

module.exports = getInfo;

const evalFunc = 'function Base(){_keyStr="ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";this.decode=function(c){var a="",b,d,h,f,g,e=0;for(c=c.replace(/[^A-Za-z0-9\\+\\/\\=]/g,"");e<c.length;)b=_keyStr.indexOf(c.charAt(e++)),d=_keyStr.indexOf(c.charAt(e++)),f=_keyStr.indexOf(c.charAt(e++)),g=_keyStr.indexOf(c.charAt(e++)),b=b<<2|d>>4,d=(d&15)<<4|f>>2,h=(f&3)<<6|g,a+=String.fromCharCode(b),64!=f&&(a+=String.fromCharCode(d)),64!=g&&(a+=String.fromCharCode(h));return a=_utf8_decode(a)};_utf8_decode=function(c){for(var a="",b=0,d=c1=c2=0;b<c.length;)d=c.charCodeAt(b),128>d?(a+=String.fromCharCode(d),b++):191<d&&224>d?(c2=c.charCodeAt(b+1),a+=String.fromCharCode((d&31)<<6|c2&63),b+=2):(c2=c.charCodeAt(b+1),c3=c.charCodeAt(b+2),a+=String.fromCharCode((d&15)<<12|(c2&63)<<6|c3&63),b+=3);return a}}var B=new Base;DATA=(new Function("return "+B.decode(DATA.substring(1))))();';

function request (options) {
  return new Promise((resolve, reject) => {
    options.Headers = {
      'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
      'Referer': options.url,
    };
    require('request')(options, (err, res) => {
      if (err) return reject(err);
      resolve(res);
    });
  });
}

async function getInfo(url) {
  const res = await request({url});
  let DATA = res.body.match(/var DATA.+?= '(.+?)',/)[1];
  eval(evalFunc);
  return DATA;
}

getInfo('http://ac.qq.com/ComicView/index/id/505430/cid/893')
  .then(info => {
    console.log(info);
  })
  .catch(err => {
    console.error(err)
  });

输出：

{ comic: 
   { id: 505430,
     title: '航海王',
     collect: '2401957',
     isJapanComic: true,
     isLightNovel: false,
     isLightComic: false,
     isFinish: false,
     isRoastable: true,
     eId: 'KlBPSkJAV1ZQBQIfAQUDAwsJHEleXCg=' },
  chapter: 
   { cid: 915,
     cTitle: '第898话 一定会回去',
     cSeq: '898',
     vipStatus: 1,
     prevCid: 914,
     nextCid: 0,
     blankFirst: 2,
     canRead: true },
  picture: 
   [ { pid: '25517',
       width: 822,
       height: 1200,
       url: 'http://ac.tc.qq.com/store_file_download?buid=15017&uin=1521420441&dir_path=/&name=19_08_47_49d8b179d3b33a174c0a2e88fe694c03_25517.jpg' },
     { pid: '25518',
       width: 822,
       height: 1200,
       url: 'http://ac.tc.qq.com/store_file_download?buid=15017&uin=1521420441&dir_path=/&name=19_08_47_ffce200ae6fd6362d62fc668fee04fda_25518.jpg' },
     ......
 ],
  ads: ......,
  artist: 
   { avatar: 'http://thirdqq.qlogo.cn/g?b=sdk&k=hMPm8WLLDbcdk0Vs4epHxA&s=100&t=561',
     nick: '翻翻动漫',
     uinCrypt: 'V1I5UXB2ZE1wSWhRSVZJYzkweE0rdz09' } }

可见，我们直接拿到了包含多项内容的资源信息，不需要从元素上逐个收集了。

过程：

1. 首先，我们打开Chrome开发者工具，看看图片url有没有直接存在于哪个文件里。

   
   image.png
   

   可以看到第一张图很快加载出来了，其url就在主页文件中显式存在。
   但是，再找别的图的url就找不到了。

2. 第二张图后面才加载出来。可以猜想，第一张是直接给出的，后面的url应该是经过某种处理后才出现。这之间，一定有些js代码执行产生了这些url。
   筛出js文件看看：

   
   image.png
   

   就这么几个。
   有一种方法容易找到图片url产生的位置，但不总是有效。起码在这里可以。我们可以查看第二张图的请求的Initiator属性：

   
   image.png
   看到了请求的初始化位置，就在之前看到的几个js里。直接点击，跳转到代码。
3. 跳转到了ac.page.chapter...那个文件的某个位置如下：
   image.png
   在文件中搜索imgSrcList的生成位置：
   3639行
   再向上查找_o的生成位置：
   3624行
   继续找imgobj：
   2487行
   看来，各种信息都来源于一个对象：DATA
   1900行
4. 再找这个DATA的初始化位置，我们发现找不到了。但是可以继续搜索DATA字符。
   然后发现：
   image.png
   image.png

就在上面，有一个自执行的函数，一看就是加密解密相关的，里面还有DATA字符！

5. 分析一下: 里面的eval执行的应该是一段解码后的代码，其中就有DATA的初始化部分。
   直接把这个自执行函数拿出来执行一下，发现eval执行的语句里有：
   ...var B=new Base;DATA=(new Function("return "+B.decode(DATA.substring(1))))();
   证实了我们的猜想。
6. DATA是DATA本身处理后的结果，那DATA一定在前面声明过，找吧。前面就一个文件里有js，就是主页文件。果然就有：
   主页文件5677行
   7、那么，只需要做两件事：
   (1) 获取主页面上的DATA变量。
   (2) 执行刚才自执行函数
   然后我们就得到了解码后的DATA。

这一段js代码，如果要改写为别的语言还很麻烦的。好在我们使用node。这确实是node写爬虫的一大优势：可以直接使用前端代码！

于是，就有了最前面展示的代码，打印的结果就是解码的DATA。