MongoTemplate下count的查询优化问题

众所周知, mongo db的count查询是相当慢的, 但是count的查询又是非常常见的作用.

笔者最近就有一项需要,需要在200万条数据中执行count查询,并且使用MongoTemplate.count()查询,结果查询结果很慢.

那么如何解决这个问题呢? 笔者查询了相关的资料. 采用了以下方案供大家参考.

首先,笔者在mongo shell中执行db.collection.find({}).count()不用1s的时间就出来结果, 因此, 笔者首先想到的是能不能再java mongo中直接执行mongo shell的命令, 很不幸, 笔者使用的是4.4版本的mongodb, 不在支持db.eval()操作. 因此只能选择其他方法

相关资料可以参考这个:

https://stackoverflow.com/questions/16239592/raw-javascript-mongodb-queries-using-db-eval-in-java

https://docs.mongodb.com/manual/reference/method/db.eval/

经过网上查询和官方文档提示, mongodb支持以下的count查询

• db.collection.count()
• db.collection.countDocuments()
• db.collection.estimatedDocumentCount()

这三个方法对比着看,会有更深的认识

方法对比

count

1. 采用metadata来返回数据总量

countDocuments

1. 未采用metadata
2. 通过aggregation来实时计算出数量

改语法封装了下面的语句,来返回数量

db.collection.aggregate([
    {$match: <query>},
    {$group: {_id: null, n: {$sum: 1}}}
])

estimatedDocumentCount

说明

1. 该方法返回一个collection中的所有documents的数量
2. 该方法封装了count命令
3. 该方法采用了metadata

使用

db.collection.estimatedDocument(<options>)

使用示例

综合上述三个方法的对比. 在计算count的时候, 根据查询条件的不同,可以采用不同的方法

• 如果没有查询条件,即查询总量时,建议采用estimatedDocumentCount方法
• 如果有查询条件, 只能通过countDocuments方法, 并且减以在查询条件增加索引.

Java代码片段示例

import org.springframework.data.mongodb.core.query.Query;
import org.springframework.data.mongodb.core.MongoTemplate;


long count = 0;
if (query.getQueryObject().isEmpty()) {
    LOGGER.info("[Mongo] ==> 开始查询总量");
    long startTime = System.currentTimeMillis();
    count = mongoTemplate.getCollection(tableName).estimatedDocumentCount();
    LOGGER.info("[Mongo] ==> 结束查询总量,耗时:{}ms", System.currentTimeMillis() - startTime);
} else {
    LOGGER.info("[Mongo] ==> 开始条件查询总量");
    long startTime = System.currentTimeMillis();
    count = mongoTemplate.count(query, tableName);
    LOGGER.info("[Mongo] ==> 结束条件查询总量,耗时:{}ms", System.currentTimeMillis() - startTime);
}