JavaScript高阶函数 map reduce filter sort ...
分类：
编程语言 时间：
2016-10-08 16:08:37
阅读次数：
104
1. lambda 1. 基本形式： 函数名=lambda args1,args2,...,argsn:expression与C语言中的宏定义类似 2. Code 2. filter 1. 基本形式 ans=filter(function,array)相当于一个过滤函数，这里的function的返回 ...
分类：
移动开发 时间：
2016-09-23 16:26:36
阅读次数：
226
1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 正文： 1.MapReduce作业运行流程 下面贴出我用visio2010画出的流程示意图： 流程分析： 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资 ...
分类：
其他好文 时间：
2016-09-22 10:13:00
阅读次数：
130
lambda只是一个表达式，函数体比def简单很多。 lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。 lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。 如下例子： 定义了一个lambda表达式，求三个数的和。 再看一个例 ...
分类：
编程语言 时间：
2016-09-14 00:05:20
阅读次数：
322
一个用Java写的计算程序通过JDBC的方式连接Hive数据库，执行SQL查询语句查询数据。结果对应的MapReduce任务执行到Map 18% Reduce xx%之后，所有的进度输出都变为了Map 0% Reduce 0%，Job状态从Running跳到Accepted，并且阻塞无法正常执行 ...
分类：
其他好文 时间：
2016-09-07 18:55:41
阅读次数：
992
简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。 读者通过本文 ...
分类：
其他好文 时间：
2016-09-05 21:02:59
阅读次数：
260
hadoop map-reduce程序的编译需要依赖hadoop的jar包，我尝试javac编译map-reduce时指定-classpath的包路径，但无奈hadoop的jar分布太散乱，根据自己写的程序来一个个指定jar包的位置又太麻烦，于是又尝试修改java的classpath配置文件，结果不 ...
分类：
其他好文 时间：
2016-09-02 00:34:28
阅读次数：
129
1.通过修改实例模板程序来实现自己的map-reduce: 为了让示例程序run起来： 1）安装eclipse 2）安装map-reduce的eclipse插件 eclipse的map-reduce插件可以很方便的创建hadoop项目（自动导入所依赖的map-reduce jar包）和打开map-r ...
分类：
系统相关 时间：
2016-09-02 00:30:30
阅读次数：
211
1.写hadoop的map-reduce程序之前所必须知道的基础知识: 1)hadoop map-reduce的自带的数据类型： Hadoop提供了如下内容的数据类型，这些数据类型都实现了WritableComparable接口，以便用这些类型定义的数据可以被序列化进行网络传输和文件存储，以及进行大 ...
分类：
其他好文 时间：
2016-09-02 00:20:00
阅读次数：
243
转：http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html ...
分类：
其他好文 时间：
2016-08-23 20:31:12
阅读次数：
110
