1 什么是bond 网卡bond是通过多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余,带宽扩容和负载均衡,在生产场景中是一种常用的技术。Kernels 2.4.12及以后的版本均供bonding模块,以前的版本可以通过patch实现。可以通过以下命令确定内核是否支持 bonding: 1 2 3 [ ...
分类:
系统相关 时间:
2017-08-22 13:13:52
阅读次数:
276
group By操作 map端部分聚合。并不是所有的聚合操作都需要在reduce部分进行,很多聚合操作都可以先在map端进行部分聚合,然后在reduce端得出最终结果。 hive.map.aggr=true,用于设定是否在map端进行聚合,默认为True。hive.groupby.mapaggr.c ...
分类:
其他好文 时间:
2017-08-16 09:55:34
阅读次数:
115
上篇博文讲述了排序规则collations的操作和设置方式。顺带介绍了一部分聚合aggregation的设置方式。本文继续介绍聚合操作。聚合框架的操作处理完数据记录后在返回计算结果。集合操作将来源于多个文档的值归类到一起,这样就可疑在被归类的数据上进行多种操作,然后返回一个单独..
分类:
数据库 时间:
2017-08-12 10:26:18
阅读次数:
167
本篇博文从三个方面进行排序规则Collations的讲解。其中包括概览,使用方式和支持排序的操作。首先我们对排序规则进行一个概览性的介绍排序规则概览排序规则为特定语言习惯中的字符串比较提供一套规则,例如,在加拿大法语中,给定词汇的最后一个重音节决定了其排序顺序。考虑..
分类:
数据库 时间:
2017-08-11 16:02:53
阅读次数:
212
Stream的基本概念 Stream和集合的区别: Stream不会自己存储元素。元素储存在底层集合或者根据需要产生。 Stream操作符不会改变源对象。相反,它会返回一个持有结果的新的Stream。 3.Stream操作可能是延迟执行的,这意味着它们会等到需要结果的时候才执行。 Stream操作的... ...
分类:
编程语言 时间:
2017-08-03 20:19:17
阅读次数:
168
Mongodb聚合操作 读书笔记 mongodb,两种计算聚合pipeline和mapreduce pipeline查询速度快于mapreduce,但MapReduce能够在多台Server上并行执行复杂的聚合逻辑。 mongodb不允许Pipeline的单个聚合操作占用过多的系统内存,如果一个聚合 ...
分类:
数据库 时间:
2017-07-31 00:56:25
阅读次数:
209
聚合 是泛指各种可以处理批量记录并返回计算结果的操作。MongoDB提供了丰富的聚合操作,用于对数据集执行计算操作。在 mongod 实例上执行聚合操作可以大大简化应用的代码,并降低对资源的消耗。 聚合有比较简单的 count 计算总数;distinct去重;group by 分组。也有比较复杂的管 ...
分类:
数据库 时间:
2017-07-13 16:04:33
阅读次数:
254
1. 统计指定品牌下每个颜色的销量 任何的聚合,都必须在搜索出来的结果数据中进行,搜索结果,就是聚合分析操作的scope 2. 单个品牌与所有品牌销量对比 一个聚合操作,必须在query的搜索结果范围内执行出来两个结果,一个结果,是基于query搜索结果来聚合的; 一个结果,是对所有数据执行聚合的 ...
分类:
其他好文 时间:
2017-07-01 11:01:57
阅读次数:
260
Structured Streaming 之窗口事件时间聚合操作Spark Streaming 中 Exactly Once 指的是:每条数据从输入源传递到 Spark 应用程序 Exactly Once每条数据只会分到 Exactly Once batch 处理输出端文件系统保证幂等关系Struc... ...
分类:
其他好文 时间:
2017-06-23 16:52:16
阅读次数:
450
1. Aggregate Aggregate即聚合操作。直接上代码: acc即(0,0),number即data,seqOp将data的值累加到Tuple的第一个元素,将data的个数累加到Tuple的第二个元素。由于没有分区,所以combOp是不起作用的,这个例子里面即使分区了,combOp起作用 ...
分类:
其他好文 时间:
2017-06-13 14:15:12
阅读次数:
190