这几天看见有许多分享用python爬虫获取小说的文章，弄得我自己也手痒了，于是就写了个小爬虫，基本能实现分析下载小说以.TXT格式下载到本地的功能。只是关于文本格式以及网页防吊死的问题暂时没有处理，本文主要是给想爬小说的小伙伴们一个思路，当然，源代码也在文章最后，随时都可以跑起来。
一.python环境及编辑器（用到的库和模块）
运行平台： win7
Python版本： Python3.x
IDE： pycharm
模块：Beautiful Soup，urllib
由于本文主要是实战展示，所以就没有对于库和模块的安装，讲解。具体使用方法可以看官方文档，安装过程有需要可以留下评论。我这里就只附上我看过后感觉写的不错的文档链接，大家可以自行查询：
Beautiful Soup：‘https://cuiqingcai.com/1319.html’
urllib：‘https://www.jianshu.com/p/63dad93d7000’
二.确定目标
因为某阁是个盗版小说网站，而且我发现这个网站没有反爬虫的机制，所以对新手爬友比较友好，所以我就以这个网站作为实战示范。
笔趣阁主页url：‘https://www.biquge.cm/’
不知道大家平时喜欢看谁的小说，我从中学就喜欢看西红柿大大的小说，所以这次就以爬取大大的‘飞剑问道’这本小说作为目标。
通过地址栏我们可以获得这个目录页面的url：https://www.biquge.cm/10/10963/，下面我们就可以开始分析该网站的HTML结构，想办法取出我们想要获得内容。
三.过程分析
解析工具有很多，爬取方式也有很多，我这里就简单说下我自己的思路。
1.通过目录页面获得小说所有章节的链接地址。
2.通过第一步获得的链接地址，爬取每一章节的正文内容。
3.把爬取到的正文保存在TXT文档，并下载到本地。
我的大致思路就是这个样子，你们也可以选择其他方式获取每一章节的url地址，比如使用selenium，或者用开发者工具找到下一页的标签再提取。不管黑猫白猫，能抓到耗子就是好猫，所以编程是一件有趣的事情，通过不同的方法可以达到同样的目的。好了，闲话不多说，大致思路有了之后，我们就开始代码实现。
四.代码实现
第一步，先引用我们需要用到的模块和库，美味汤和urllib。
第二步，我们定义一个函数模块，用来获得页面原始数据。
第三步，我们定义一个专门分析页面的函数，用来反复调取。这个解析器就是我们的美味汤（Beautiful Soup），完成这一步后，前期的基础工作就算搞定了，这样我们就能分析每个页面的数据了。
第四步，我们正式开始分析小说，还记得我们最开始的思路吗，第一步，先获取每一章小说的链接。打开开发者工具（F12或者右键检查），用选择工具随便点几个章节目录，发现他们都在 <div id="list">这个父级标签下.
我们使用Ctrl+F查找这个标签，发现在目录页，这个标签是唯一的，所以我们获得如下信息。1.所以章节链接都在<div id="list">标签下 2.标签属性id=‘list’是唯一的，通过这个属性，我们就能得到所有章节链接。
那我们只需要红圈内的地址，如何提取呢？这里可以使用正则表达式，或者seleck方法，但我这里直接选择了find的方法，简单粗暴好理解。经过观察分析我们得知，这里的地址是每个章节url的后半部分，所以我们需要对其进行拼接才能得到真实的url，所以代码如下
第5步，定义获取每一章小说正文的函数，用同样的方法分析获得每一章小说的正文，我们发现正文在<div id="content">标签下，且属性也是唯一的。
这里可以对文本格式进行处理，但是我为了快速实现功能就没有搞这些。大家后续可以在我这个基础上优化代码，我这里就不做过多解释了，所以代码如下。
第6步，定义一个函数下载并保存我们的小说，这里比较简单，直接上代码
第7步，运行部分代码
第8步，点击运行就OK了，附一张运行的图
按照以上操作步骤，代码基本就实现了，注意我这里没有定义保存路径，所以默认保存在当前文件夹，需要注意。最好把源码分享给大家。拿去跑一跑吧。
import urllib,bs4
from bs4 import BeautifulSoup
#引入模块和库
#获取页面初始数据
def getHtmlcode(url):
#请求头，虽然这个网站不需要，但是这算是反反爬虫的一种最基本手段
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"
headers = {"User-Agent": user_agent}
response=urllib.request.Request(url,headers=headers)#发起请求
result=urllib.request.urlopen(response)#打开页面
html=result.read()#读取页面
return html #返回页面信息
#分析页面
def paarser(url):
html=getHtmlcode(url)#调用getHtmlcode函数
soup=BeautifulSoup(html,'html.parser')#用美味汤分析，得到bs文件
return soup
#获取每章节目录链接
def Charpter_url(url):
soup=paarser(url)#调用parser分析页面
datas=soup.find('div',id="list").find_all('a')#获得需要的数据
url_list=[]#新建列表用来储存url地址
for data in datas:
page_url='https://www.biquge.cm'+data['href']#拼接成真实地址
page_name=data.text#每一章的小说名字
url_list.append(page_url)
return url_list
#获取文章单章正文
def get_Charpter_text(url):
soup=paarser(url)#调用parser分析页面
content=soup.find('div',id="content").text#获得需要的正文
content1=content.strip().replace("<br />", "")#顺手处理下格式问题
return content
#保存文件
def save_text(url):
url_list=Charpter_url(url)
num=1
with open('飞剑问道.text','a',encoding='utf-8') as f:
for page_url in url_list:
contents=get_Charpter_text(page_url)
f.write(contents)
print('第{}章下载完成'.format(num))
num+=1
f.close()
if __name__=='__main__':
url='https://www.biquge.cm/10/10963/'
save_text(url)
网友评论