快速上手pymongo

在上手pymongo之前

pymongo是python调用MongoDB的一个driver, 那么在使用pymongo之前, 要保证你已经做到以下两点:

• 安装好mongo
• 启动mongo

安装和启动的流程网上很容易找到.
本文mongo使用默认的ip和port, 即localhost和27017, 这个课根据需要自己修改.

准备工作

导入必要的python模块, jieba是用于中文分词的module, pprint能打印出格式整洁的输出.

import pymongo
from pymongo import MongoClient # MongoClient是必须的
from pymongo import TEXT # 全文索引时会用到
import jieba # 中文分词工具,下面的例子会用到
import pprint # pretty print 工具包, 用这个打印格式更整洁

先定义两个简单的条目, 后面的插入和查找会用到. 这种定义方式就是json嘛, 很直观.

item1 = {
    'name': "Burger",
    'ingredients': [
        "bread",
        "cheese",
        "tomato",
        "beef"
    ]
}
item2 = {
    'name': 'Pizza',
    'ingredients': [
        'cheese',
        'bacon',
        'flour',
        'pepper'
    ]
}

插入一个条目

# 初始化一个client实例
client = MongoClient()
# 建立或者调用一个名为recipe的database
db = client['recipe']
# 建立或调用一个名为posts的collection
foods = db['foods']
# 把item1条目插入到foods
foods.insert_one(item1)

列出数据库db下的所用的collection的名称

db.collection_names(include_system_collections=False)

随机找出foods中的一个条目(也就是一个document)

db.foods.find_one()

插入一个新的条目, 并打印出collection中所有的document(这里collection就是foods, foods的documents就是item1和item2)

foods.insert_one(item2)
pprint.pprint([x for x in foods.find({'ingredients': 'cheese'})])

OUTPUT:

[{'_id': ObjectId('5967807e5975ae05e9b27dfe'),
  'ingredients': ['bread', 'cheese', 'tomato', 'beef'],
  'name': 'Burger'},
 {'_id': ObjectId('5967807e5975ae05e9b27dff'),
  'ingredients': ['cheese', 'bacon', 'flour', 'pepper'],
  'name': 'Pizza'}]

英文全文搜索(full text search)用例

下面这段程序可以用于全文搜索, 倒数第二行代码可以得出输入语句于数据库每个条目的text_in字段的相似度分数. 对于英语mongo直接支持full text search, 不用人为分词等操作.

dialogs = db['dialogs']
d1 = {
    'text_in': 'this ball and this ball are toys in the house',
    'text_out': 'find thank you',
    'keywords_dialog': ['ball', 'toys', 'house'],
}
d2 = {
    'text_in': 'this ball is a toys in the house this is a car and a space boat computer is a hammer',
    'text_out': 'i am 9',
    'keywords_dialog': ['ball', 'toys', 'car'],
}
dialogs.insert_many([d1,d2])
dialogs.create_index([('text_in', TEXT)], default_language='en')
keywords = 'ball toys'
cursor = dialogs.find({'$text': {'$search':keywords}}, {'score':{'$meta':'textScore'}})
pprint.pprint([x for x in cursor])

OUTPUT:

[{'_id': ObjectId('5967807e5975ae05e9b27e01'),
  'keywords_dialog': ['ball', 'toys', 'car'],
  'score': 1.125,
  'text_in': 'this ball is a toys in the house this is a car and a space boat '
             'computer is a hammer',
  'text_out': 'i am 9'},
 {'_id': ObjectId('5967807e5975ae05e9b27e00'),
  'keywords_dialog': ['ball', 'toys', 'house'],
  'score': 1.75,
  'text_in': 'this ball and this ball are toys in the house',
  'text_out': 'find thank you'}]

中文全文检索

MongoDB是不支持中文的full text search的(好像付费企业版支持), 我发现如果提前分好词, 在英文模式下也是可以用的.
注意这段代码的倒数第二行cursor.sort([('score', {'$meta':'textScore'})]), 能根据搜索的相似度排序, 很方便.

dialogs = db['dialogs_zh_fulltext']
d1 = {
    'text_in': '你 早上 吃 的 什么 ?',
    'text_out': '我 吃 的 鸡蛋',
}
d2 = {
    'text_in': '你 今天 准备 去 哪 ?',
    'text_out': '我 要 回家',
}
dialogs.insert_many([d1,d2])
dialogs.create_index([('text_in', TEXT)], default_language='en')
keywords = ' '.join(jieba.lcut('你今天早上去哪了?'))
print('keywords: {}'.format(keywords))
cursor = dialogs.find({'$text': {'$search':keywords}}, {'score':{'$meta':'textScore'}})
for x in cursor.sort([('score', {'$meta':'textScore'})]):
    pprint.pprint(x)

OUTPUT:

keywords: 你 今天 早上 去 哪 了 ?
{'_id': ObjectId('5967807e5975ae05e9b27e05'),
 'score': 2.4,
 'text_in': '你 今天 准备 去 哪 ?',
 'text_out': '我 要 回家'}
{'_id': ObjectId('5967807e5975ae05e9b27e04'),
 'score': 1.2,
 'text_in': '你 早上 吃 的 什么 ?',
 'text_out': '我 吃 的 鸡蛋'}

参考链接:

---

http://api.mongodb.com/python/current/tutorial.html
http://api.mongodb.com/python/current/api/pymongo/collection.html
http://www.runoob.com/mongodb/mongodb-text-search.html