美文网首页
node爬虫 利用 puppeteer 模块

node爬虫 利用 puppeteer 模块

作者: 一城叶秋风 | 来源:发表于2018-12-05 14:12 被阅读0次

网上有很多node的爬虫大部分使用的request + cheerio模块。因个人在 ip 代理方面能力不足,所以选择了puppeteer模块。

puppeteer的文档 github 上的 API

puppeteer的 api 中文文档 

我在这里不会介绍puppeteer,原因是你想写爬虫这种你不自己钻研技术,我把代码写好给你,你还是不会,还不如多多看看文档或者度娘谷歌问问去。本身这篇只是做一个记录而已

在这里展示我在爬小说网站的部分代码

写爬虫的原因

        因我是个严重的书虫,每天都是看一段小说,听一段时间小说,而网上的大部分小说是要收费的,一些不收费的网站都有各种YY图片广告,有时候就不小心就点到或者被网站自动触发(很闹心),所以就打算自己写个看书网站和一个看书小程序(很操蛋看书类的小程序,只能是企业版小程序可以提交,因我是个人用户被禁用了)

相关文章

网友评论

      本文标题:node爬虫 利用 puppeteer 模块

      本文链接:https://www.haomeiwen.com/subject/pfmicqtx.html