码迷,mamicode.com
首页 > 数据库 > 详细

MongoDB数据重复解决方案

时间:2019-05-24 19:08:07      阅读:330      评论:0      收藏:0      [点我收藏+]

标签:mongo   重复数据   png   mat   统计   估计   出现   ups   表示   

当我们在测试阶段时难免会出现一些程序写错,导致数据重复,本人因为这个问题,倒腾了几天,刚开始的思路是写脚本,因为自己语言学的太菜,导致连一个定义的公式都没想出来,后来是利用MongoDB里面的聚合解决的。

  下面我以一个小实例来讲把:

技术图片

 

不难看出,姓名有出现重复的现象,少的情况我们可以逐个删除,当数据量达到几百万,几千万的时候估计大家有些发愁了,应该会有些朋友会想到写脚本去筛选然后删除这些重复的数据把,其实可以利用MongoDB中的聚合去删除重复的数据

技术图片

 第一个括号是:相同数据的字段

第二个括号是:操作相对应的文档

然后我依次向大家解释是什么意思:

aggregate:(聚合管道)

1.group只会返回参与分组的字段

2.根据name分组统计数量

3.$match匹配数量大于1的数据

4.doc.dups.shift();表示从数组第一个值开始删除;作用是踢除重复数据其中一个_id,让后面的删除语句不会删除所有数据
5.使用forEach循环根据_id删除数据
 
$addToSet 操作符只有在值没有存在于数组中时才会向数组中添加一个值。如果值已经存在于数组中,$addToSet返回,不会修改数组。

技术图片

 

 

 技术图片

数据重复name字段已经删除。

 

MongoDB数据重复解决方案

标签:mongo   重复数据   png   mat   统计   估计   出现   ups   表示   

原文地址:https://www.cnblogs.com/chen1997/p/10919489.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!