Python爬虫实战二 | 抓取小说网完结小说

作者: DYBOY | 来源:发表于2017-09-07 20:24 被阅读313次

大家都知道，在小说网站看小说总是各种广告，想要下载小说然而却要么需要钱，要么需要会员，如此，我们不妨写一个小说爬虫，将网页上的小说内容章节全部抓取下来，整理成为一本完整的txt文件，这样岂不是一件很愉快的事情！

第一只爬虫：

第一只爬虫效果

第一只爬虫，在urlChange（）函数处理网址变化，然而到了最后，小东发现，原来小说的每一章节不是按照序号顺次排列的，老阔痛！！！哈哈~

那么我们该如何解决那？想到每一章节的网页都有下一章的按钮，由此，我们可以抓取下一章的网页地址，如此反复即可！

下面请看第二只升级版的爬虫V1.1：

这样就好多了

其中getContent()用到了递归的思想，OK，这只升级版镶钻水晶奢华配置爬虫就算写好了！

欢迎各位上Github下载！

注：本文属于原创文章，转载请注明本文地址！

作者QQ:1099718640

CSDN博客主页：http://blog.csdn.net/dyboy2017

Github开源项目：https://github.com/dyboy2017/novel_spider

网友评论

本文标题：Python爬虫实战二 | 抓取小说网完结小说

本文链接：https://www.haomeiwen.com/subject/yyiijxtx.html

Python爬虫实战二 | 抓取小说网完结小说