Prepare Hadoop Streaming Hadoop streaming allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer....
分类：
其他好文 时间：
2014-08-05 13:47:29
阅读次数：
426
map函数 #?-*-?coding:?cp936?-*-
def?myselfmap(f,*args):
????def?urgymap(f,args):
????????if?args==[]:
????????????return?[]
????????else:
??????????...
分类：
编程语言 时间：
2014-08-04 21:50:28
阅读次数：
239
题目链接：
啊哈哈，选我选我
思路是：
相当于模拟约瑟夫环，只不过是从顺逆时针同时进行的，然后就是顺逆时针走可以编写一个函数，只不过是走的方向的标志变量相反。。还有就是为了（pos+flag+n-1）%n+1的妙用。。。
题目：
The Dole Queue
In a serious attempt to downsize (reduce...
分类：
其他好文 时间：
2014-08-04 11:09:37
阅读次数：
206
MapReduce计算框架将计算过程分为两个阶段：Map和Reduce Map阶段并行处理输入数据； Reduce阶段对Map结果进行汇总Shuffle连接Map和Reduce两个阶段 Map Task将数据写到本地磁盘； Reduce Task从每个Map Task上读取一份数据；仅适合离...
分类：
其他好文 时间：
2014-08-03 15:12:25
阅读次数：
305
工作原理：使用如下map和reduce：（特别注意输入输出类型， 其中IntPair为自定义类型）public static class Map extends Mapperpublic static class Reduce extends Reducer 在map阶段，使用job.setInpu...
分类：
其他好文 时间：
2014-08-03 12:36:55
阅读次数：
240
advantage 英 [?d'vɑ?nt?d?] 美 [?d'vænt?d?] n. 优势；利益；有利条件vi. 获利vt. 有利于；使处于优势lack 英 [læk] 美 [læk] vt. 缺乏；不足；没有；需要vi. 缺乏；不足；没有n. 缺乏；不足reduce [r?'dju...
分类：
其他好文 时间：
2014-08-02 12:33:43
阅读次数：
213
看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。public class Mapperpublic class Reducer Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。 自己写M...
分类：
其他好文 时间：
2014-08-01 15:34:21
阅读次数：
205
order by,distribute by,sort by,cluster by ?查询使用说明 // 根据年份和气温对气象数据进行排序，以确保所有具有相同年份的行最终都在一个reducer分区中
// 一个reduce(海量数据,速度很慢)
select year, te...
分类：
其他好文 时间：
2014-07-30 21:00:44
阅读次数：
198
首先要推荐一下：http://www.alidata.org/archives/1470阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程，强烈推荐先读一下。不过，上文没有写明一些实现的细节，比如：spill的过程，mapper生成文件的 partiti...
分类：
其他好文 时间：
2014-07-29 13:43:18
阅读次数：
298
filter(function, iterable)map(function, iterable)reduce(function, sequence)filter将 function依次作用于iterable的每个元素，如果返回值为true, 保留元素，否则从iterable里面删除。functio...
分类：
编程语言 时间：
2014-07-28 14:30:03
阅读次数：
221
