标签:mongo 重复数据 png mat 统计 估计 出现 ups 表示
当我们在测试阶段时难免会出现一些程序写错,导致数据重复,本人因为这个问题,倒腾了几天,刚开始的思路是写脚本,因为自己语言学的太菜,导致连一个定义的公式都没想出来,后来是利用MongoDB里面的聚合解决的。
下面我以一个小实例来讲把:
不难看出,姓名有出现重复的现象,少的情况我们可以逐个删除,当数据量达到几百万,几千万的时候估计大家有些发愁了,应该会有些朋友会想到写脚本去筛选然后删除这些重复的数据把,其实可以利用MongoDB中的聚合去删除重复的数据
第一个括号是:相同数据的字段
第二个括号是:操作相对应的文档
然后我依次向大家解释是什么意思:
aggregate:(聚合管道)
1.group只会返回参与分组的字段
2.根据name分组统计数量
3.$match匹配数量大于1的数据
数据重复name字段已经删除。
标签:mongo 重复数据 png mat 统计 估计 出现 ups 表示
原文地址:https://www.cnblogs.com/chen1997/p/10919489.html