美文网首页
node爬虫 利用 puppeteer 模块

node爬虫 利用 puppeteer 模块

作者: 一城叶秋风 | 来源:发表于2018-12-05 14:12 被阅读0次

    网上有很多node的爬虫大部分使用的request + cheerio模块。因个人在 ip 代理方面能力不足,所以选择了puppeteer模块。

    puppeteer的文档 github 上的 API

    puppeteer的 api 中文文档 

    我在这里不会介绍puppeteer,原因是你想写爬虫这种你不自己钻研技术,我把代码写好给你,你还是不会,还不如多多看看文档或者度娘谷歌问问去。本身这篇只是做一个记录而已

    在这里展示我在爬小说网站的部分代码

    写爬虫的原因

            因我是个严重的书虫,每天都是看一段小说,听一段时间小说,而网上的大部分小说是要收费的,一些不收费的网站都有各种YY图片广告,有时候就不小心就点到或者被网站自动触发(很闹心),所以就打算自己写个看书网站和一个看书小程序(很操蛋看书类的小程序,只能是企业版小程序可以提交,因我是个人用户被禁用了)

    相关文章

      网友评论

          本文标题:node爬虫 利用 puppeteer 模块

          本文链接:https://www.haomeiwen.com/subject/pfmicqtx.html