MongDB中删除重复数据

目的：数据库中存储几万甚至几十万条数据，而mongdb数据库中存在完全重复的多条数据，要删除整个记录，而不是某个字段。若采用python脚本，则速度慢。故采用数据库操作命令aggregrate速度很快。

---

1、查询存在重复的数据：

db.xywy_same_39_copy.aggregate([

    {

        $group: { _id: {disease_name: '$disease_name'},count: {$sum: 1},dups: {$addToSet: '$_id'}}

    },

   {

        $match: {count: {$gt: 1}}

    }

])

结果如图所示：

（其中：count：表示该记录出现的次数，dups：返回重复记录对应的id）

---

2、删除重复记录

在查询的基础上添加forEach语句

如下代码（在查询基础上，添加的代码已加粗）：

db.xywy_same_39_copy.aggregate([

    {

        $group: { _id: {disease_name: '$disease_name'},count: {$sum: 1},dups: {$addToSet: '$_id'}}

    },

    {

        $match: {count: {$gt: 1}}

    }

]).forEach(function(doc){

    doc.dups.shift();

    db.xywy_same_39_copy.remove({_id: {$in: doc.dups}});

})

说明：

1、xywy_same_39_copy代表对应操作的collection

2、根据userName和age分组并统计数量，$group只会返回参与分组的字段，使用$addToSet在返回结果数组中增加_id字段

3、使用$match匹配数量大于1的数据

4、doc.dups.shift();表示从数组第一个值开始删除；作用是踢除重复数据其中一个_id，让后面的删除语句不会删除所有数据

5、使用forEach循环根据_id删除数据