美文网首页与Linda一起100天写作
Day2-试着保存在mongodb里

Day2-试着保存在mongodb里

作者: 小红鱼 | 来源:发表于2017-03-05 08:56 被阅读49次

上一篇把爬下来的信息保存在了文件里,今天我们试着保存在mongodb里。首先默认你的电脑上已经装好了mongodb。

1.安装pymongo

>pip install pymongo

下载个mongodb的可视化工具,方便操作。Windows系统推荐MongoVUE,Mac用 Robomongo:https://robomongo.org/download。

在可视化工具上新建一个数据库叫"daomu",新建一个collection叫"biji"。

2.修改代码

在settings.py里添加mongodb的配置,分别是主机名、端口号、数据库名称、集合(相当于关系数据库里的表)名称:

接下来就可以修改pipelines.py的代码了,让数据保存在mongodb里:

在命令行里执行爬虫,然后检查数据库结果:

>scrapy crawl daomu

欧啦,大功告成,是不是很简单!

相关文章

  • Day2-试着保存在mongodb里

    上一篇把爬下来的信息保存在了文件里,今天我们试着保存在mongodb里。首先默认你的电脑上已经装好了mongodb...

  • MongoDB副本集详解2-数据同步

    本人博客同步发表,排版更佳 数据同步 Mongodb副本集里的Secondary会从Primary上同步数据,以保...

  • MongoDB Shell CRUD

    MongoDB Shell CRUD MongoDB 描述等存在参考官网及其他作者 系统环境: MongoDB 版...

  • MongoDB 基础概述

    MongoDB 基础概述 MongoDB 描述等存在参考官网及其他作者 系统环境: MongoDB 版本:comm...

  • mongoose find and sort

    今天是 message 未排序,试着在从 mongo 获得数据的同时给数据排序。 mongoDB 方法 试着用这个...

  • MongoDB时间少8小时

    MongoDB自带的Date,时间是UTC的时间,和咱们中国时区少8个小时。MongoDB中的Date类型数据只保...

  • MongoDB 增

    用 insert() 方法插入文档到 MongoDB 的集合。如果你尝试插入的集合不存在,MongoDB 会为你创...

  • Node.js教程(07)|MongoDB 开发

    MongoDB 驱动安装(链接:Node.js MongoDB 驱动) 连接数据库 如果 test 数据库不存在,...

  • 未授权访问漏洞的测试

    一、MongoDB MongoDB默认端口27017,当配置成无验证时,存在未授权访问,使用msf中的scanne...

  • MongoDB基本操作命令

    MongoDB数据类型 MongoDB创建/删除数据库 use DATABASE_NAME 如果数据库不存在,创...

网友评论

本文标题:Day2-试着保存在mongodb里

本文链接:https://www.haomeiwen.com/subject/yyujgttx.html