1.map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 eg: 2. reduce把一个函数作用在一个序列[x1, x2, x3, ...]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一 ...
分类：
编程语言 时间：
2016-05-01 10:58:52
阅读次数：
143
用PHP编写Hadoop的MapReduce程序 Hadoop流 虽然Hadoop是用Java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口 ...
分类：
Web程序 时间：
2016-04-30 12:48:36
阅读次数：
230
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-29 19:46:23
阅读次数：
260
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-26 21:45:06
阅读次数：
351
async的基础使用 1 async each 语法格式each(collection, iteratee, [callback]) 用途：遍历集合中的元素，并行对每个元素执行一定的操作，但是不保证执行顺序，结果不会传递给最终的callback函数（要传递结果，可选择async.map函数） 参数说... ...
分类：
其他好文 时间：
2016-04-20 13:15:10
阅读次数：
100
retduce： 对数组中的所有元素调用指定的回调函数。该回调函数的返回值为累积结果，并且此返回值在下一次调用该回调函数时作为参数提供。 retduce： 对数组中的所有元素调用指定的回调函数。该回调函数的返回值为累积结果，并且此返回值在下一次调用该回调函数时作为参数提供。 语法 array1.re ...
分类：
编程语言 时间：
2016-03-30 14:43:34
阅读次数：
167
Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。 MapReduce命令基本语法： db.collection.mapReduce( function() {emit(key,value);}, //map 函数
分类：
数据库 时间：
2016-03-20 17:46:04
阅读次数：
274
1 、读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。 2 、写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。3、 对输出的key、value进行分区。4 、对不同分区的数据，按照key进行
分类：
其他好文 时间：
2016-03-15 09:41:35
阅读次数：
266
一、基本执行过程 MapReduce过程分为两个阶段：map函数阶段和reduce函数阶段 (1)map函数是用来筛选掉非需要的数据，以键值对的形式输出，键为文件位置偏移量，值为待分析的数据，map函数核心目的是形成对数据的索引，以供reduce函数方便对数据进行分析。 (2)reduce函数以Ma
分类：
其他好文 时间：
2016-03-14 21:30:25
阅读次数：
228
map和flatMap是函数式编程中常见的概念，python等语言中都有。借助于 map和flapMap 函数能够很轻易地将数组转换成另外一个新数组。map函数能够被数组调用，它接受一个闭包作为参数，作用于数组中的每个元素。闭包返回一个变换后的元素，接着将所有这些变换后的元素组成一个新的数组。简单的说， map就是映射函数，把一个集合映射成另一个集合。Swift的flatMap不容易理解，flat...
分类：
编程语言 时间：
2016-03-11 12:20:10
阅读次数：
197
