前言：
Mapreduce框架就是map->reduce,其中Map中的是偏移量和行值，在其之前会使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。本例子中使用的是TextInputFormat，他提供的RecordReder会将文本的一行的行号...
分类：
编程语言 时间：
2015-08-07 20:18:16
阅读次数：
212
js map, reduce, forEach, filter的一般实现
map（映射）, reduce（规约）, forEach（遍历）, filter（过滤），它们都是高阶函数，都是以传入不同的函数来以不同的方式操作数组元。
1> map
function map(array, func) {
var res = [];
for (var i = 0, len = array...
分类：
Web程序 时间：
2015-08-01 23:36:46
阅读次数：
210
🏠 Functional Programming in Javascript 主目录第二章 函数式编程基础上一节 与函数共舞 函数式程序员的工具集 如果你仔细看了到目前为止出现过的示例代码，你会发现这里面的一些方法不太熟悉。 它们是map()、filter()和reduce()函数，它们对任何语言...
分类：
Web程序 时间：
2015-08-01 23:23:36
阅读次数：
220
数据来源：HADOOP是HDFS上某个文件夹下的可能是成TB的数据，STORM是实时新增的某一笔数据；Hadoop与Storm的比较处理过程：HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)...
分类：
其他好文 时间：
2015-07-31 21:51:12
阅读次数：
201
MapRduce保证reducer的输入是按照key进行排过序的,原因和归并排序有关,在reducer接收到不同的mapper输出的有序数据后,需要再次进行排序,然后是分组排序,如果mapper输出的是有序数据,将减少reducer阶段排序的时间消耗.一般将排序以及Map的输出传输到Reduce.....
分类：
其他好文 时间：
2015-07-31 21:38:52
阅读次数：
183
resourcemanager：管理集群上面的资源 cpu和内存NodeManager:上面跑程序 applicationMaster 多个在NodeManager上面Mapreduce上面的程序叫MRAppMaster在NodeMnager上面Mapreduce 上运行MapTask或Reduce...
分类：
其他好文 时间：
2015-07-30 23:05:39
阅读次数：
130
1.变量可以指向函数，也可以使用变量和参数的形式完成函数调用。2.那么函数名是什么呢？函数名其实就是指向函数的变量！对于abs()这个函数，完全可以把函数名abs看成变量，它指向一个可以计算绝对值的函数！3.可以对__builtin__模块中进行修改，则abs变量指向也会改变。4.高阶函数就是将一个...
分类：
编程语言 时间：
2015-07-30 20:50:04
阅读次数：
120
http://www.tasharen.com/forum/index.php?topic=4018.msg19784#msg19784I have tons of large sprites, I need to reduce the build size. The ideal is to hav...
分类：
其他好文 时间：
2015-07-29 21:06:28
阅读次数：
236
第一章：Spring Data JPA入门Spring Data是什么Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data 包含多个子项目：Commons - 提供共...
分类：
编程语言 时间：
2015-07-29 18:42:02
阅读次数：
288
select count(distinct user_id) from dm_user where ds=20150701;
使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重
优化后为
set mapred.reduce.tasks=50;
select count(*) from
(select user_id...
分类：
其他好文 时间：
2015-07-28 13:11:29
阅读次数：
103
