好不easy算法搞定了。小数据測试也得到了非常好的结果，但是扔到进群上。挂上大数据就挂了。无休止的reduce不会结束了。。。。。。。。。。。。。。。。 这才想起还有个combiner！。！！！。！！！。！！。！！！！！！！！ 我们知道。MapReduce是分为Mapper任务和Reducer任务。 ...
分类：
其他好文 时间：
2017-07-13 20:19:25
阅读次数：
142
每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。 如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低 ...
分类：
其他好文 时间：
2017-06-11 23:31:52
阅读次数：
227
redux 有点类似flux。但是我觉得远比flux要复杂。因为他非常的绕。一般搭配使用是redux 和react-redux 使用。 主要的思路就是： 写action：动作类型 写reducer：动作计算过程 写store：将action和reducer结合起来，创建store，一般结合reduc ...
分类：
其他好文 时间：
2017-06-03 16:10:50
阅读次数：
221
一、需求 有一个列表，只有两列：id、pro，记录了id与pro的对应关系，但是在同一个id下，pro有可能是重复的。 现在需要写一个程序，统计一下每个id下有多少个不重复的pro。 为了写一个完整的示例，我使用了多job! 二、文件目录 三、样本数据（部分） 四、Java代码 1、OutCount ...
分类：
其他好文 时间：
2017-05-27 18:04:20
阅读次数：
518
1.The collect is declared by the Interface of Stream.The param is Collector Interface. 2.The Collector Interface mainly contains 4 functions about: (1 ...
分类：
其他好文 时间：
2017-05-21 14:41:35
阅读次数：
143
在之前建立的HDFS基础上，自己编写MapReduce程序，打包，并运行。 重新打包WordCount并执行 新建一个Maven项目，将示例程序中WordCount.java的复制到新项目中，使用mvn clean package打包为jar文件并复制到服务器。 WordCount.java内容如下 ...
分类：
其他好文 时间：
2017-04-28 22:08:13
阅读次数：
145
Hadoop学习笔记总结 01. MapReduce 1. Combiner（规约） Combiner号称本地的Reduce。 问：为什么使用Combiner？答：Combiner发生在Map端，对数据进行规约处理，数据量变小了，传送到reduce端的数据量变小了，传输时间变短，作业的整体时间变短。 ...
分类：
其他好文 时间：
2017-04-27 23:10:37
阅读次数：
360
Combiner编程(1.5可选步骤，视情况而定！) 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。 如果不用combine ...
分类：
其他好文 时间：
2017-04-01 21:39:22
阅读次数：
596
redux是一种常用的与react框架搭配的一种数据流架构，而伴随着redux的出现，也出现了许多基于redux开源的第三方库，而redux-form就是其中之一的开源组件库，到今天我写下这篇笔记为止，在github上获得了5580颗star和654颗的fork数，今天就写一下我的redux-for ...
分类：
其他好文 时间：
2017-03-12 15:23:51
阅读次数：
189
深入了解Combiners编程(相当于Map端的Reduce) 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。 如果不用co ...
分类：
其他好文 时间：
2017-02-21 20:48:27
阅读次数：
297
