上一篇把爬下来的信息保存在了文件里,今天我们试着保存在mongodb里。首先默认你的电脑上已经装好了mongodb。
1.安装pymongo
>pip install pymongo
下载个mongodb的可视化工具,方便操作。Windows系统推荐MongoVUE,Mac用 Robomongo:https://robomongo.org/download。
在可视化工具上新建一个数据库叫"daomu",新建一个collection叫"biji"。

2.修改代码
在settings.py里添加mongodb的配置,分别是主机名、端口号、数据库名称、集合(相当于关系数据库里的表)名称:

接下来就可以修改pipelines.py的代码了,让数据保存在mongodb里:

在命令行里执行爬虫,然后检查数据库结果:
>scrapy crawl daomu

欧啦,大功告成,是不是很简单!
网友评论