这次爬取的网址是http://seputu.com/。之前也经常在上面在线看盗墓笔记。
按照咱们之前的学习爬虫的做法，使用firebug审查元素，查看如何解析html。
这次咱们要把书的名称，章节，章节名称，章节链接抽取出来，存储到数据库中，同时将文章的内容提取出来存成txt文件。
看一下html结构就会发现这个页面结构非常分明，标题的html节点是div class = ''mulu-title"，章节的节点是 div class= "box" ，每一章的节点是 div class= "box"中的<li>标签。
然后咱们将第一章的链接http://seputu.com/biji1/1.html打开，上面就是文章的内容。
可以看到文章的内容是使用 div class ="content-body"中的<p>标签包裹起来的，总体来说提取难度挺小。
打开cmd，输入scrapy startproject daomubiji,这时候会生成一个工程，然后我把整个工程复制到pycharm中
上图就是工程的结构。
DaomubijiSpider.py ------Spider 蜘蛛
items.py -----------------对要爬取数据的模型定义
pipelines.py-------------处理要存储的数据(存到数据库和写到文件)
settings.py----------------对Scrapy的配置
main.py -------------------启动爬虫
test.py -------------------- 测试程序(不参与整体运行)
下面将解析和存储的代码贴一下
接下来切换到main.py所在目录，运行python main.py启动爬虫。
没过几分钟，爬虫就结束了，咱们看一下爬取的数据和文件。
数据库数据:
网友评论