这次只爬取了一个经济学这个标签下的所有书
思路和之前的差不多，不过有一点区别的就是分页的url以及豆瓣的反爬策略
https://book.douban.com/tag/%E7%BB%8F%E6%B5%8E%E5%AD%A6?start=20&type=T
这个20代表第二页，也代表这一页有多少本书，那么有多少页呢？
在上面所列的最后一页
所以，就手动的根据二分法的思维找了一下，发现一共有49页
本次爬取中，一共试用了之前所列的三种策略
没有做任何的伪装，用scrapy框架，一会就被禁止了
这个策略顺利地爬下了所有的数据，这次爬取设置的延迟是3秒，关于设置几秒最佳，这个还没有测试
不知道是因为所选用的代理IP太差了还是豆瓣已经检测出是代理IP的原因，始终会出现计算机积极拒绝，所以这个方式还是不太可行。
作业结果
这次所选用的依旧是scrapy框架并保存在mysql中，因为想要爬取一下这本书的标签，所以是两层深度。
作业代码和之前的差不多，就不上了哈
作业思路 这次只爬取了一个经济学这个标签下的所有书思路和之前的差不多，不过有一点区别的就是分页的url以及豆瓣的反...
日本漫改电影于2017年4月29日上映。豆瓣评分8.3 [强]《帝一之国》又称《帝一帝国》 作为2017年优秀漫改...
2018 让好书遇见你 2017年年底，豆瓣推出了年度读书榜单，官方说明是基于2017年万千豆瓣用户对读书条目的评...
2017/4/29 拍摄于大理大学
读书时间：2017/4/22 - 2017/4/23 读书笔记：2017/4/25 一七年第十五本，离50本目标还...
时间：9/25/2017 - 9/29/2017 本周积分：100分 打卡内容 1. 锻炼：keep 2. 读书:...
2017年4月29-5月1日 王建峰导师【安阳】系统排列深度疗愈训练营 2017年4月29、30-5月1日 王建峰...
希望改变自己的大辉。 我之前试过很多次写日记，在笔记本上，写了几天坚持不下去了，又把它给撕掉了。我是一个很没耐心的...
早上看到林夫妇吃早饭 很省 生下来全给国外读书的女儿，就像农村省下来都给儿子买房 自己的犹豫，给自己留后路，担心以...
阅读及笔记时间：2017年1月，29日-30日，约4小时； 阅读书本：《进击的局座：悄悄话》；作者：张召忠；201...
本文标题：2017/4/29 豆瓣读书
本文链接：https://www.haomeiwen.com/subject/qxkttxtx.html
网友评论