function forEach(array,action){ for(var i=0;i<array.length;i++) action(array[i]);}function reduce(combine,base,array){ forEach(array,function(ele...
分类：
编程语言 时间：
2015-06-25 22:50:33
阅读次数：
202
一，旅行商问题与H回路的联系（H回路 定义为 哈密尔顿回路）旅行商问题是希望售货员恰好访问每个城市一次，最终回到起始城市所用的费用最低，也即判断图中是否存在一个费用至多为K的回路。（K相当于图中顶点的个数）由于售货员可以从某个城市到其他任何一个城市。因此，该问题对应的是一个完全图（设为G′）。而关于...
分类：
其他好文 时间：
2015-05-30 17:54:00
阅读次数：
289
作用：在Mapper端对数据进行Combine归约处理，Combine业务逻辑与Reducer端做的完全相同。处理后的数据再传送到Reducer端，再做一次归约。这样的好处是减少了网络传输的数量。在Mapper进行归约后，数据量变小了，这样再通过网络传输时，传输时间就变短了，减少了整个作业的运行时间...
分类：
其他好文 时间：
2015-04-23 10:51:40
阅读次数：
176
分久必合合久必分分治如何分：（2分，m分）logm（N）归约如何归：（2路，m路）logm（N）
分类：
其他好文 时间：
2015-04-01 21:36:30
阅读次数：
111
当遇到有特殊的业务需求时，需要对hadoop的作业进行分区处理
那么我们可以通过自定义的分区类来实现
还是通过单词计数的例子，JMapper和JReducer的代码不变，只是在JSubmit中改变了设置默认分区的代码，见代码：
//1.3分区
//设置自定义分区类
job.setPartitionerClass(JPartitioner.class);
//设置分区个数--这...
分类：
其他好文 时间：
2015-02-11 18:41:26
阅读次数：
129
1.MapReduce 编程模型的5个步骤： 1）迭代，将输入数据解析成 key/value 对； 2）将解析的 key/value经过Map处理映射成另一组key/value对； 3）根据key进行分组； 4）以分组为单位进行归约（Reduce 过程）； 5）迭代，输出最终结果。2.Ma...
分类：
其他好文 时间：
2015-01-19 20:52:11
阅读次数：
144
上述代码使用了规约rduction(op:list);这样每个线程会有一个私有的list,当所有线程的list计算完成之后，每个线程的私有list值将被op规约为一个list值。如果不进行归约的话可能会导致每次的运行结果都不一样...
分类：
其他好文 时间：
2015-01-15 14:23:01
阅读次数：
177
scheme解释器有两种实现方式，一种是应用序，先对每个参数求值，再以首过程对所有求得的参数求值。第二种是正则序，会“完全展开然后归约”（书中原文）SICP中的练习1.5，让我困惑了一下。原题如下：Ben Bitdiddle发明了一种检测方法，能够确定解释器究竟采用何种序求值，是采用应用序，还是采用...
分类：
其他好文 时间：
2014-12-06 15:13:47
阅读次数：
143
Hadoop读书笔记（十）MapReduce中的combiner编程。
从计数器分析combiner的作用......
分类：
其他好文 时间：
2014-12-01 22:29:22
阅读次数：
154
