lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：def f(x):return x**2print f(4)Python中使用lambda的话，写成这样g = lambda x : x**2print g(4)lambda表达式在很多编程语言都有对应的实现。比如C#：va...
分类：
编程语言 时间：
2016-01-14 07:25:28
阅读次数：
215
为了更方便的对JS中Array进行操作，ES5规范在Array的原型上新增了9个方法，分别是forEach、filter、map、reduce、reduceRight、some、every、indexOf 和 lastIndexOf，本文将对这几个方法进行详细的讲解，并对每一个方法进行原型扩展，以兼...
安装步骤：1) JDK -- Hadoop是用Java写的，不安装Java虚拟机怎么运行Hadoop的程序；2）创建专门用于运行和执行hadoop任务（比如map和reduce任务）的linux用户，就像windows下的服务账户，并且授权给他可以访问运行JDK目录权限，让他可以执行java虚拟机。...
分类：
系统相关 时间：
2016-01-10 17:06:59
阅读次数：
419
今晚听了王家林老师的第七课Spark运行原理及RDD解密，课后作业是：spark基本原理，我的总结如下：1spark是分布式 基于内存 特别适合于迭代计算的计算框架2mapReduce就两个阶段map和reduce，而spark是不断地迭代计算，更加灵活更加强大，容易构造复杂算法。3spark不能取...
分类：
其他好文 时间：
2016-01-09 01:00:35
阅读次数：
235
转自http://superlxw1234.iteye.com/blog/1582880一、 控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,...
分类：
其他好文 时间：
2016-01-08 07:00:05
阅读次数：
183
转自：http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882279.html转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Ha...
分类：
其他好文 时间：
2016-01-05 22:45:22
阅读次数：
362
1.高阶函数指把函数作为参数的函数，map和reduce就是两个高阶函数map接受一个方法作为参数，可以对一个数列中的每一个元素拿此方法做处理，像这样function pow(x){return x+1}[1,2,3,4,5].map(pow)//[2, 3, 4, 5, 6]reduce接受一个方...
分类：
其他好文 时间：
2016-01-04 23:55:27
阅读次数：
154
mapreduce是一种编程模式，用于大规模数据的并行运算。“Map”，“Reduce”是它们的主要思想。用户用Map（映射）函数把一组键值对映射成另一组键值对，指定并发的Reduce（归纳）函数，来保证所有映射的键值对中的每一个共享共同的键组。工作原理：如上图：右图是论文里给出的流程图。一切都是从...
分类：
其他好文 时间：
2016-01-03 17:34:58
阅读次数：
144
1. 查找历年最高的温度。MapReduce任务过程被分为两个处理阶段：map阶段和reduce阶段。每个阶段都以键/值对作为输入和输出，并由程序员选择它们的类型。程序员还需具体定义两个函数：map函数和reduce函数。对应的Java MapReduce代码如下：public class MaxT...
分类：
其他好文 时间：
2016-01-03 02:41:22
阅读次数：
655
一、什么是 Spark Spark 是开源的类 Hadoop MapReduce 的通用的并行计算框架， Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，....
分类：
其他好文 时间：
2016-01-03 02:40:53
阅读次数：
197
