在线观看多费劲呀，不如爬下来看

小说网站地址：http://www.quanshuwang.com/

分析：

第一种方法：

首先随便打开一个小说章节详情页，比如莽荒记

发现这个详情页，居然包含了所有章节的url。

故第一种实现思路就是从这个页面找到所有章节的url，存为一个列表，然后批量去匹配小说内容下载小说。

---

第二种方法：

在第一个章节点开任意 一章小说，对页面进行分析

发现这里有下一章的链接，

故方法二就是在当前页面找到下一章的链接，然后循环执行批量下载小说，只要拿到小说章节的url一切都好说。

---

第三种方法：

通过观察连续每一章的url：

小说地址：http://www.quanshuwang.com/book/44/44683/

章节规律：页面翻页规律

章节1:http://www.quanshuwang.com/book/51/51030/16813025.html

章节2:http://www.quanshuwang.com/book/51/51030/16813026.html

章节3:http://www.quanshuwang.com/book/51/51030/16813027.html

http://www.quanshuwang.com/book/44/44683/15379612.html

......

.......

最后一章的url：http://www.quanshuwang.com/book/51/51030/18021855.html

，，这网站居然没更新完本。。这就尴尬了，

不过我们还是能

发现规律

连续章节url

=http://www.quanshuwang.com/book/51/51030/168130+章节数.html

所以第三种方法只是简单的拼接url就ok 了。

---

总结经验：爬虫的实现方法有多种，主要还是看你实现这种爬虫的实现思路，通过几种方法来比较哪一种方法比较简单实用。

---

第二种方法的代码实现：

---

'''

小说地址：http://www.quanshuwang.com/book/51/51030

小说章节第一章：http://www.quanshuwang.com/book/51/51030/16813025.html

by:北冥

'''

importrequests#网络请求模块

importre#正则表达式模块

frombs4importBeautifulSoup#解析网页模块

importsys#防出错模块

defgetContent(content_url,i):

try:

i=i+1#循环调用直到下完为止，如果找不到下一章的url程序会报错。

header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

res = requests.get(content_url,headers= header,timeout=10)#开始请求

res.encoding ='gbk'#设置编码

soup = BeautifulSoup(res.text,'html.parser')#解析页面html

title = soup.select('.jieqi_title')[0].text.lstrip('章 节目录 ')#开始搜索章节

print(title)#终端打印章节

content = soup.select('#content')[0].text.lstrip('style5();').rstrip('style6();')#小说内容

both = title + content#章节+内容

next_url = soup.select('.next')[0]['href']#在当前页面搜索下一章

print(both,file= f)#写入文件

print(i)#终端打印章节

returngetContent(next_url,i)#反复调用函数

except:

print('下载完成啦', sys.exc_info()[0], sys.exc_info()[1])

#出错返回

#以下是调用过程

f =open("莽荒记.txt",'w+',encoding='utf-8')#保存在当前目录

i=0

getContent('http://www.quanshuwang.com/book/51/51030/16813025.html',i)#第一章的url传进去

f.close()

print('ok!')

---

以下是代码整体图，好看点