reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v] groupByKey：按照key进行分组，直接进行shuffle 建议使用reduceByKey。但是需要注意是否会影响业务逻辑 reduceByKey：按照key进行聚合，在 ...
分类：
其他好文 时间：
2019-09-04 10:01:45
阅读次数：
224
1MySQL的架构介绍1.1sql_modesql_mode是一个容易忽视的变量，默认情况下为空，可以忍耐一些非法操作，在生产环境中，必须将其设置为严格模式，在开发测试环境中配该变量也是很有必要的，因为这样可以在生产之前发现问题。sql_mode常用值如下：ONLY_FULL_GROUP_BY：对于GROUPBY聚合操作，如果在SELECT中的列没有在GROUPBY中出现，那么这个sql是不合法的
分类：
数据库 时间：
2019-08-30 09:26:51
阅读次数：
102
Java8 新特性之集合操作Stream Stream简介 Java 8引入了全新的Stream API。这里的Stream和I/O流不同，它更像具有Iterable的集合类，但行为和集合类又有所不同。 stream是对集合对象功能的增强，它专注于对集合对象进行各种非常便利、高效的聚合操作，或者大批 ...
分类：
编程语言 时间：
2019-08-21 00:03:50
阅读次数：
86
业务需求及设计见前文：基于 MongoDB 动态字段设计的探索 根据专业计算各科平均分 (总分、最高分、最低分) public Object avg(String major){ Aggregation aggregation = Aggregation.newAggregation( Aggreg ...
分类：
数据库 时间：
2019-08-03 11:23:07
阅读次数：
187
MongoDB按照天数或小时聚合 需求 最近接到需求，需要对用户账户下的设备状态，分别按照天以及小时进行聚合，以此为基础绘制设备状态趋势图. 实现思路是启动定时任务，对各用户的设备状态数据分别按照小时以及天进行聚合，并存储进数据库中供用户后续查询. 涉及到的技术栈分别为： ,`MongoDB Mor ...
分类：
数据库 时间：
2019-07-31 15:16:39
阅读次数：
102
Java 8 中的 Stream 是对集合（Collection）对象功能的增强，它专注于对集合对象进行各种非常便利、高效的聚合操作（aggregate operation），或者大批量数据操作 (bulk data operation) 同时它提供串行和并行两种模式进行汇聚操作，并发模式能够充分利 ...
分类：
编程语言 时间：
2019-07-29 14:24:17
阅读次数：
120
1.按照一个列或者多个列对数据分组 2.对每个组进行聚合操作 3. 对聚合后的结果进行判断 select year(ymd),avg(price_close) as avg_price from stocks where exchange="AAPL" group by ymd having avg ...
分类：
其他好文 时间：
2019-06-30 11:18:35
阅读次数：
87
什么是函数式编程 函数式编程是java8的一大特色，也就是将函数作为一个参数传递给指定方法。别人传的要么是基本数据类型，要么就是地址引用 ，我们要穿一个“动作”。 Stream 说到函数式编程，就不得不提及Stream，Stream跟我们熟知的io流可不是同一个东西，泛指可以顺序执行或者并行执行的元 ...
分类：
编程语言 时间：
2019-06-12 21:23:43
阅读次数：
115
讨论QQ：1586558083 目录 一、概述 二、shuffle的定义 三、ShuffleManager发展概述 四、HashShuffleManager的运行原理 4.1 未经优化的HashShuffleManager 4.2 优化后的HashShuffleManager 五、SortShuff ...
分类：
其他好文 时间：
2019-06-11 13:36:32
阅读次数：
109
