网上有很多node的爬虫大部分使用的request + cheerio模块。因个人在 ip 代理方面能力不足,所以选择了puppeteer模块。
我在这里不会介绍puppeteer,原因是你想写爬虫这种你不自己钻研技术,我把代码写好给你,你还是不会,还不如多多看看文档或者度娘谷歌问问去。本身这篇只是做一个记录而已
在这里展示我在爬小说网站的部分代码
写爬虫的原因
因我是个严重的书虫,每天都是看一段小说,听一段时间小说,而网上的大部分小说是要收费的,一些不收费的网站都有各种YY图片广告,有时候就不小心就点到或者被网站自动触发(很闹心),所以就打算自己写个看书网站和一个看书小程序(很操蛋看书类的小程序,只能是企业版小程序可以提交,因我是个人用户被禁用了)
网友评论