在对超过百万条记录的集合进行聚合操作。 DBObject?match=(DBObject)JSON.parse("{$match:{logType:{‘$in‘:[5,9]}}}");
DBObject?group=(DBObject)JSON.parse("{$group:{‘_id‘:‘$domainUrl‘,‘count‘:{‘$sum‘:1...
分类：
数据库 时间：
2015-03-05 00:24:48
阅读次数：
244
mongo中的高级查询之聚合操作(distinct,count,group)1.distinct的实现：db.consumerecords.distinct("userId"):键值去重类似于mysql中的selectdistinctuserIdfromconsumerecordsdb.consumerecords.distinct("userId",{act:"charge"}):过滤之后去重,类似于mysql中的selectdistin..
分类：
其他好文 时间：
2015-02-11 18:57:40
阅读次数：
11854
Storm Trident的核心数据模型是一批一批被处理的“流”，“流”在集群的分区在集群的节点上，对“流”的操作也是并行的在每个分区上进行。Trident有五种对“流”的操作：1.不需要网络传输的本地批次运算2.需要网络传输的“重分布”操作，不改变数据的内容3.聚合操作，网络传输是该操作的一部分4...
分类：
其他好文 时间：
2015-01-07 16:32:30
阅读次数：
304
今天跟大家分享一下mongodb中比较好玩的知识，主要包括：聚合，游标。一： 聚合 常见的聚合操作跟sql server一样，有：count，distinct，group，mapReduce。 count count是最简单，最容易，也是最常用的聚合工具，它的使用跟我们C#里面的count...
分类：
数据库 时间：
2014-12-25 20:04:48
阅读次数：
163
Trident主要有5类操作： 1、作用在本地的操作，不产生网络传输。 2、对数据流的重分布，不改变流的内容，但是产生网络传输。 3、聚合操作，有可能产生网络传输。 4、作用在分组流（grouped streams）上的操作。 ...
分类：
其他好文 时间：
2014-12-12 13:28:26
阅读次数：
1018
通过上一篇文章中，认识了MongoDB中四个聚合操作，提供基本功能的count、distinct和group，还有可以提供强大功能的mapReduce。在MongoDB的2.2版本以后，聚合框架中多了一个新的成员，聚合管道，数据进入管道后就会经过一级级的处理，直到输出。对于数据量不是特别大，逻辑也不...
分类：
数据库 时间：
2014-12-04 23:12:35
阅读次数：
466
根据MongoDB的文档描述，在MongoDB的聚合操作中，有以下五个聚合命令。其中，count、distinct和group会提供很基本的功能，至于其他的高级聚合功能（sum、average、max、min），就需要通过mapReduce来实现了。在MongoDB2.2版本以后，引入了新的聚合框架...
分类：
数据库 时间：
2014-12-03 23:02:22
阅读次数：
429
7.4.2 使用聚合操作进行计算
聚合背后的思想是，在整个操作过程中，传递的某些状态能够被保持。我们首先初始状态，用给定的处理函数，为文档中的每个部分，计算出一个新的状态。这种思想反映在函数的签名中：
val aggregateDocument :
('a -> DocumentPart -> 'a)-> 'a -> DocumentPart –> 'a
我们之所以使...
分类：
其他好文 时间：
2014-11-27 12:48:53
阅读次数：
181
Trident主要有5类操作：1、作用在本地的操作，不产生网络传输。2、对数据流的重分布，不改变流的内容，但是产生网络传输。3、聚合操作，有可能产生网络传输。4、作用在分组流（grouped streams）上的操作。5、Merge和join
分类：
其他好文 时间：
2014-11-23 23:06:46
阅读次数：
208
欢迎关注我的新博客地址：http://cuipengfei.me/blog/2014/10/31/spark-fold-aggregate-why-not-foldleft/大家都知道Scala标准库的List有一个用来做聚合操作的foldLeft方法。比如我定义一个公司类：1case class ...
