一篇很好的关于map/reduce的示范文章。看了这个,你就会理解prototype.js中Enumerable的精髓。通过它,你可以写出很多非常奇特非常美妙的代码。短短几行,功能可不简单哦~例如Scriptaculous中,一开篇就应用了一个findAll,两个each。8行代码,其实只是一句而已...
分类:
编程语言 时间:
2015-05-11 12:32:43
阅读次数:
161
1、启动hadoop工程 2、eclipse导入插件 将hadoop-eclipse-plugin-2.6.0.jar插件导入eclipse中,重启eclipse 3、在Map/Reduce的窗口下建立连接(单机版) 4、创建工程,导入jar,配置文件 提示:工程要用到hadoop的...
分类:
其他好文 时间:
2015-05-10 22:35:25
阅读次数:
189
Hadoop家族项目图谱各子项目介绍(1)PigHadoop客户端,解决非Java程序员使用Hadoop难题使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序,过滤,求和,聚组,关联等操作,可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce作业上传到集群运行,减少用户编写J..
分类:
其他好文 时间:
2015-05-09 13:33:33
阅读次数:
112
# -*- coding: utf-8 -*- #把函数作为参数传入,这样的函数称为高阶函数,函数式编程就是指这种高度抽象的编程范式 #python内建map, reduce函数的用法 map(f, [x1, x2, x3, x4]) = [f(x1), f(x2), f(x3),...
分类:
编程语言 时间:
2015-05-09 11:29:18
阅读次数:
105
mapred.tasktracker.map.tasks.maximum官方解释:The maximum number of map tasks that will be runsimultaneously by a task tracker.我的理解:一个tasktracker最多可以同时运行的m...
分类:
其他好文 时间:
2015-05-06 12:25:22
阅读次数:
120
Map函数: 原型:map(function, sequence),作用是将一个列表映射到另一个列表, 使用方法: def f(x): return x**2 l = range(1,10) map(f,l) Out[3]: [1, 4, 9, 16, 25, 36, 49, 64, 81] Red...
分类:
编程语言 时间:
2015-05-05 18:42:22
阅读次数:
193
一:起因
(1)自己学习Linux的历程
自己一直想着在Linux下面练习、学习一下Python,以及C编程;shell编程也顺带;今天突然来了兴趣,就开始安装了。
(2)血泪史
话说,自己第一次安装WMware 、Vbox不记得什么时候了,最近一次是在学习Hadoop 的Map/Reduce时候,又安装了一次,由于前面几次,安装版本的不同(Ubuntu),可能每一次遇到的问题也不同,可惜...
分类:
系统相关 时间:
2015-05-05 12:35:06
阅读次数:
449
MultipleOutputs: write data to multiple files with customized name, can be used for both map and reduce phase.http://www.lichun.cc/blog/2013/11/how-t....
分类:
其他好文 时间:
2015-05-01 13:16:48
阅读次数:
90
Python内置了一些非常有趣但非常有用的函数,充分体现了Python的语言魅力!filter(function, sequence):对sequence中的item依次执行function(item),将执行结果为True的item组成一个List/String/Tuple(取决于sequence...
分类:
编程语言 时间:
2015-04-29 21:30:14
阅读次数:
172
1. Combinercombiner is between map and reduce, similar to reducer, combine some data before reducer.http://hadooptutorial.wikispaces.com/Custom+combin...
分类:
其他好文 时间:
2015-04-28 13:42:33
阅读次数:
192