map(function, sequence) ：对sequence中的item依次执行function(item)，执行结果组成一个List返回 reduce(function, sequence, starting_value)：对sequence中的item顺序迭代调用function，如果有...
分类：
编程语言 时间：
2015-12-07 17:58:39
阅读次数：
139
Liberal lawmakers proposed a bill to reduce the cost of medicine for older Americans.自由主义立法者提出一条减少老年美国人的医药费的法案。He is interested in ancient Greek liter...
分类：
其他好文 时间：
2015-12-07 16:16:27
阅读次数：
183
MapReduce应该算是MongoDB操作中比较复杂的了，自己开始理解的时候还是动了动脑子的，所以记录在此！命令语法：详细看db.runCommand({ mapreduce : 字符串，集合名,map : 函数,见下文reduce : 函数，见下文[, query : 文档，发往map函数前先给...
分类：
数据库 时间：
2015-12-06 22:33:14
阅读次数：
317
MapReduce的应用案例(利用MapReduce进行排序) MapReduce的应用案例(利用MapReduce进行排序)思路： Reduce之后直接进行结果合并具体样例：程序名：Sort.javaimport...
分类：
编程语言 时间：
2015-12-06 20:42:38
阅读次数：
218
MapReduce原理 MapReduce原理简单来说就是，一个大任务分成多个小的子任务(map)，并行执行后，合并结果(reduce)。例子： 100GB的网站访问日志文件，找出访问次数最多的IP地址
分类：
其他好文 时间：
2015-12-06 14:28:17
阅读次数：
120
Spark核心概念简介一个Spark应用都由驱动器程序发起集群上的各种并发操作，一个驱动器程序一般包含多个执行器节点，驱动器程序通过一个SaprkContext对象访问saprk。RDD(弹性分布式数据集)----分布式的元素集合，RDD支持两种操作：转化操作、行动操作，如map、reduce函数。
分类：
其他好文 时间：
2015-12-05 17:57:49
阅读次数：
158
1、新建MR工程依次点击 File → New → Ohter…选择 “Map/Reduce Project”，然后输入项目名称:mrdemo，创建新项目:2、（这步在以后的开发中可能会用到，但是现在不用，现在直接新建一个class文件即可）创建Mapper和Reducer依次点击 File → N...
分类：
其他好文 时间：
2015-12-05 11:05:37
阅读次数：
156
需求说明用Map&Reduce计算几个班级中，每个班级10岁和20岁之间学生的数量：需求分析学生表的字段：db.students.insert({classid:1, age:14, name:'Tom'})将classid随机1和2、age在8-25岁之间随机，name在3-7个字符之间随机。数据...
分类：
数据库 时间：
2015-12-03 23:04:47
阅读次数：
173
鲁春利的工作笔记，谁说程序员不能有文艺范？MapReduce提供了许多默认的输出格式，如TextOutputFormat、KeyValueOutputFormat等。MapReduce中输出文件的个数与Reduce的个数一致，默认情况下有一个Reduce，输出只有一个文件，文件名为part-r-00000，文件内容的行数与map输出中不..
分类：
其他好文 时间：
2015-12-03 15:47:51
阅读次数：
510
共享变量通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。尽管如此，Spark提供了两种有限...
分类：
其他好文 时间：
2015-12-03 14:11:33
阅读次数：
177
