在对大数据抓取时，使用scrapy来对数据进行抓取无疑是十分方便的，而scrapy抓取的数据一般比较大，结合MongoDB数据库的高并发和高响应，把数据存储到MongoDB中。本次讲详细介绍scrapy的安装、运行及工程文件的讲解，还有MongoDB的安装和在python下的操作。
一.Scrapy
1.Scrapy安装
window下直接在cmd终端pip install scrapy，这样在卸载时就可以直接pip uninstall scrapy。
2.建立Scrapy工程
打开自己的文件夹按下shift+鼠标右键---在此处打开命令窗口，打开cmd。或者直接win+R键运行cmd，然后在cd到文件夹目录下。
在cmd中输入scrapy startproject my_test 这样就建立了scrapy工程，里面包含item.py 、pipelines.py、settings.py、init.py 和spider文件夹，spider.py需要自己建立。
3.运行Scrapy工程
一般是在cmd下输入命令：scrapy crawl my_test 在执行该命令前先cd到my_test这个文件夹下。
二、MongoDB
1.下载MongoDB
官网MongoDB各个版本（这个是外国网站，下载比较慢，但它设置了防盗链，所以不要用迅雷下载）里面有很多版本，推荐下载3.0.0版本64bit msi的，因为在结合mongoVUE使用是兼容较好，而3.2版本有些值无法显示。
2.安装MongoDB
按照提示安装，建议自定义安装到自己设定的目录文件夹下，方便使用。
安装完成后在bin文件下新建data文件夹，并新建一个名为start.txt的文本文档，里面内容为：
mongod --dbpath ./data
注意空格，--和./之前都有空格！！！。写完后重命名为start.bat文件，这样每次就不用再cmd中键入命令了。
3.安装MongoDB可视化工具MongoVUE 1.69
官网的链接比较慢，这里给一个csdn上的破解版，其实破不破解都差不多，只是每次打开都有一个弹窗mongoVue 破解。 下载后建议安装在monggodb同一个目录文件夹下。
4.打开mongoDB
首先先打开bin文件夹下之前建立的start.bat文件（打开cmd后不要关闭，放着就好了），然后在mongoVue安装目录下找到MongoVUE.exe并打开，
如图，建立自己的一个数据库名，Server填写localhost或者127.0.0.1（本机的意思），其他的可以不填，然后选择connect，双击，如果没有报错提示就是正常打开，报错则是start.bat文件没有打开，没有连接到本机。
5.python连接MongoDB
首先先安装第三方库pymongo（cmd 下pip install pymongo）。
其次，运行如图的代码，把jul和haha存放到MongoDB中
这里，通过pymongo.MongoClient实现连接，其括号后的值可以不写。connection['Sbya2']表示建立一个数据库名为Sbya2，tdb[‘Test’]表示在Sbya2下建立一个名为Test的变量，其类型为字典。运行后在mongoVue中显示：先选择sirius，点击refresh，这时在其目录下就出现Sbya2文件，点击其connections下，可以看到hahf这个值
如图，这里我多运行了几次，所以保存了几次。在MongoDB中，字典是随机排列的，因为python中字典也没对序号有要求。
网友评论