Map：-------分割Reduce：---合并====Batch，ESB： Splite：----分割 Aggert：---合并 Channel----管道BPM Join fork task==========================================都是基于...
分类：
其他好文 时间：
2014-09-21 12:37:40
阅读次数：
206
1 reduce side join在map端加上标记, 在reduce容器保存，然后作笛卡尔积缺点: 有可能oom2 map side join 2.1 利用内存和分布式缓存，也有oom风险2.2 自己的想法，参考hive桶的思路, 第一次MR，将两个文件相同的方法分文件输出并打上标记，排序输出，...
分类：
其他好文 时间：
2014-09-20 21:12:39
阅读次数：
262
mongoDB的MapReduce简介 分类： MongoDB2012-12-06 21:378676人阅读评论(2)收藏举报MongoDB MapReduceMapReduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。这样.....
分类：
数据库 时间：
2014-09-19 17:32:45
阅读次数：
377
db.runCommand({ group: { ns:"testc", key:{name:null}, initial:{num:0}, $reduce:function(doc,prev) { prev.num++; }}}){ "retval":[ { "name":"sulin", "nu...
分类：
数据库 时间：
2014-09-19 10:01:45
阅读次数：
1002
太久没动这里，目前人生处于一个新的开始。这次博客的内容很久前就想更新上来，但是一直没找到合适的时间点（哈哈，其实就是懒），主要内容集中在使用Mongodb时的一些隐蔽的MapReduce问题： 1、Reduce时的计数问题 2、Reduce时的提取数据问题 另外，补充一个小tips：mon...
分类：
数据库 时间：
2014-09-18 20:37:44
阅读次数：
315
Array#concat() 是久经考验的方法, 用于组合两个(或多个)数组. 但他创建了一个新的数组,而不是修改现有的一个.
有很多变通的手法,但他们都有不同的优缺点,需要根据实际情况来选择.
上面列出了各种 优点/缺点,也许最好的(包括没有列出的)方法是 reduce(..) 和 reduceRight(..)
无论你选择什么,都应该批判性地思考你的数组合并策略,而不是把它当作理所当然的事情....
分类：
Web程序 时间：
2014-09-18 18:52:44
阅读次数：
215
利用hadoop streaming框架，帮助我们在map和reduce之间传递数据，通过stdin和stdout.http://wenku.baidu.com/link?url=R1vj6NWV5nv_aVI8P0G5SNzxOyaDsffGeOJrRT6iA9iYHry3w60hJ9CVAtS1...
分类：
编程语言 时间：
2014-09-16 18:54:50
阅读次数：
200
#!/usr/bin/env pythonimport osimport os.pathimport sysimport reimport shutilimport csvfrom multiprocessing import Pool #support muti thread map reduce...
分类：
编程语言 时间：
2014-09-16 10:34:30
阅读次数：
277
http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要...
分类：
其他好文 时间：
2014-09-13 22:46:16
阅读次数：
241
一直对书和各种介绍不太满意， 终于看到一篇比较好的了，迅速转载.首先要推荐一下：http://www.alidata.org/archives/1470阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程，强烈推荐先读一下。不过，上文没有写明一些实现的细节...
分类：
其他好文 时间：
2014-09-13 20:06:15
阅读次数：
202
