数据库缓存：
为 了避免磁盘缓存方案的 己知限制，下面我们会在现有数据库系统之上创建缓存 。 爬取时， 我们可能需要缓存大量数据， 但又无须任何复杂的连接操作， 因此我们将选用 NoSQL 数据库， 这种数据库 比传统的关系型数据库更易于扩展。在本节中 ， 我们将会选用 目 前非常流行的 MongoDB 作为缓存数据库。
NoSql是什么
NoSQL 全称为 Not Only SQL， 是一种相对较新的数据库设计方式。 传统
的关系模型使用 的是固定模式， 并将数据分割到各个表中 。 然而， 对于大数
据集的情况， 数据量太大使其难 以存放在单一服务器中 ， 此时就需要扩展到
多 台服务器。 不过， 关系模型对于这种扩展的支持并不够好， 因为在查询多
个表时， 数据可能在不同的服务器中 。 相反， NoSQL 数据库通常是无模式的，
从设计之初就考虑了跨服务器无缝分片 的 问题。 在 NoSQL 中 ， 有多种方式可
以实现该 目 标， 分别是列数据存储 （ 如 HBase）、 键值对存储 （如 Redis）、 面
向文档的数据库 （ 如 MongoDB） 以及图形数据库 （ 如 Neo4j ） 。
windows安装MongoDB:
下载之后一直点击下一步安装完成，
配置环境变量 我的电脑-属性-高级系统设置-环境变量-path路径下添加mogodb路径（D:\mongdb\bin）注意路径与之前的需要用;分号间隔
在mongodb路径下建立data文件夹
在cmd中输入mongod --dbpath D:\mongdb\data 启动
重开一个cmd然后输入mongo 看是否链接成功
或者在浏览器输入http://localhost:27017/ （27017是默认端口）显示如下则启动成功
返回结果显示.jpg
安装pymongo python封装库
pip install pymongo在python中使用MongoDB的默认端口链接MongoDB
from pymongo import MongoClient
client = MongoClient('localhost', 27017)
存取缓存数据：
from pymongo import MongoClient
client = MongoClient('localhost', 27017)
url = 'http://example.webscraping.com/view/united-kingdom-239'
html = 'f'
db = client.cache
db.webpage.insert({'url': url, 'html': html})
print db.webpage.find_one({'url': url})
db.webpage.insert({'url': url, 'html': html})
print db.webpage.find({'url': url}).count()
如果是想更新内容则使用update将上面更改一下
new_html = '<html></html>'
db.webpage.update({'_id': url},{'$set':{'html' : new_html}}, upsert = True)
print db.webpage.find_one({'_id': url})
使用MongoDB实现缓存
from datetime import datetime, timedelta
from pymongo import MongoClient
from link_crawler import link_crawler
class MongoCache:
def __init__(self, client=None, expires=timedelta(days=30)):
self.client = MongoClient('localhost', 27017)
self.db = self.client.cache
self.db.webpage.create_index('timestamp', expireAfterSeconds=expires.total_seconds())
def __getitem__(self, url):
record = self.db.webpage.find_one({'_id': url})
if record:
return record['result']
else:
raise KeyError(url + 'does not exist')
def __setitem__(self, url, result):
record = {'result': result, 'timestamp': datetime.utcnow()}
self.db.webpage.update({'_id': url}, {'$set': record}, upsert=True)
if __name__ == '__main__':
link_crawler('http://example.webscraping.com/', '/(index|view)', cache=MongoCache())
总结：
缓存己下载的网页可以节省时间 ， 并能最小化重新爬取网站所耗费的带宽 。 缓存的主要缺点是会占用磁盘空间 ， 不过我们可 以使用压缩的方式减少空间 占用 。 此外， 在类似 MongoDB 等现有数据库的基础之上创建缓存， 可以避免文件系统的各种限制。
学习《用Python写网络爬虫》
相关源码
网友评论