map-reduce 驱动需要消耗大量资源，也费时间。 对于简单查询，hive可以回避使用map-reduce，改用fetch task --hiveconf set hive.fetch.task.conversion=more; 那么对于select * from tab 这种就会很快。 如果有 ...
分类：
其他好文 时间：
2016-04-08 11:46:16
阅读次数：
135
1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任 ...
分类：
其他好文 时间：
2016-04-06 08:12:22
阅读次数：
290
In a serious attempt to downsize (reduce) the dole queue, The New National Green Labour Rhinoceros Party has decided on the following strategy. Every ...
分类：
其他好文 时间：
2016-04-05 19:27:12
阅读次数：
221
spark与hadoop对比 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是J ...
分类：
其他好文 时间：
2016-04-05 15:32:35
阅读次数：
692
在hadoop中当一个任务没有设置的时候，该任务的执行的map的个数是由任务本身的数据量决定的，具体计算方法会在下文说明；而reduce的个数hadoop是默认设置为1的。为何设置为1那，因为一个任务的输出的文件个数是由reduce的个数来决定的。一般一个任务的结果默认是输出到一个文件..
分类：
其他好文 时间：
2016-04-03 20:37:25
阅读次数：
215
来自ManfredHu博客: http://www.manfredhu.com/2016/04/02/15-veryGoodForUsing/ 1. 用reduce统计一个数组中有多少个不重复的单词 var arr = ["apple","orange","apple","orange","pear ...
分类：
编程语言 时间：
2016-04-02 17:29:59
阅读次数：
187
WordCount程序中Map和Reduce过程分析（网易云课堂Hadoop与大数据学习笔记） Map过程： （1）文件的拆分，测试用的文件较小，每个文件为一个split，并将文件按行分成<key,value>对，如下图，这一步是由框架完成： （2）将分割好的<key ,value>对交给用户定义的 ...
分类：
其他好文 时间：
2016-03-31 12:29:10
阅读次数：
203
retduce： 对数组中的所有元素调用指定的回调函数。该回调函数的返回值为累积结果，并且此返回值在下一次调用该回调函数时作为参数提供。 retduce： 对数组中的所有元素调用指定的回调函数。该回调函数的返回值为累积结果，并且此返回值在下一次调用该回调函数时作为参数提供。 语法 array1.re ...
分类：
编程语言 时间：
2016-03-30 14:43:34
阅读次数：
167
map:map()方法定义在Array中，传入自己的参数，就得到一个新的Array作为结果 var aqiData = [ ["北京", 90], ["上海", 50], ["福州", 10], ["广州", 50], ["成都", 90], ["西安", 100]]; function box(a ...
分类：
编程语言 时间：
2016-03-27 21:14:32
阅读次数：
393
翻译前言：我在理解复杂事件处理（CEP）方面一直有这样的困惑--为什么这种计算模式是有效的，能够分析得到有用的结果？为什么它会快？我始终还没有找到我期望的答案。不像map-reduce模型，google的论文非常清楚的描述了它的场景；或者disruptor框架，原作者清晰地解释了它为什么会快。在试图... ...
分类：
其他好文 时间：
2016-03-27 13:52:34
阅读次数：
172
