简单说，对 Stream 的使用就是实现一个 filter-map-reduce 过程，产生一个最终结果，或者导致一个副作用（side effect）。
当我们使用一个流的时候，通常包括三个基本步骤：
获取一个数据源（source）→ 数据转换→执行操作获取想要的结果，每次转换原有 Stream 对象不改变，返回一个新的 Stream 对象（可以有多次转换），这就允许对其操作可以像链条一样排列，变成一个管道。
流的操作主要有：
Intermediate：
map (mapToInt, flatMap 等)、...
分类：
编程语言 时间：
2016-05-03 18:31:03
阅读次数：
326
计数器模式讲解： 先讲一下，就是说只用 Map 阶段 不需要 Reduce 。 也就是说去掉了中间输出，而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。Hadoop 框架支持 在 MR 结束时，只需要简单的获取框架的计数器信息并将结果写入到任意地方。 包括日... ...
分类：
其他好文 时间：
2016-05-03 15:59:52
阅读次数：
141
昨天使用hadoop跑五一的数据，发现报错： 发现是内存溢出了，遇到这种问题首先要判断是map阶段溢出还是reduce阶段溢出，然后分别设置其内存的大小，比如： 因为默认值都是：1024M，也就是一个G，如果不够就会溢出！ ...
分类：
其他好文 时间：
2016-05-03 12:42:48
阅读次数：
1000
One I used JAVA to recode a MATLAB program in order to reduce the runtime. It proved that MATLAB's protogenetic functions, such as matrix multiplicati ...
分类：
其他好文 时间：
2016-05-02 15:29:20
阅读次数：
146
倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。 解决思路: Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage ...
分类：
其他好文 时间：
2016-05-02 14:21:41
阅读次数：
191
In this post I will share 12 extremely useful hacks for JavaScript. These hacks reduce the code and will help you to run optimized code. So let’s star ...
分类：
编程语言 时间：
2016-05-02 10:32:26
阅读次数：
299
1.map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 eg: 2. reduce把一个函数作用在一个序列[x1, x2, x3, ...]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一 ...
分类：
编程语言 时间：
2016-05-01 10:58:52
阅读次数：
143
解读Google分布式锁服务 背景介绍 在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。 在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索 ...
分类：
其他好文 时间：
2016-04-30 14:10:33
阅读次数：
158
用PHP编写Hadoop的MapReduce程序 Hadoop流 虽然Hadoop是用Java写的，但是Hadoop提供了Hadoop流，Hadoop流提供一个API, 允许用户使用任何语言编写map函数和reduce函数.Hadoop流动关键是，它使用UNIX标准流作为程序与Hadoop之间的接口 ...
分类：
Web程序 时间：
2016-04-30 12:48:36
阅读次数：
230
研究MapReduce已经有一段时间了。起初是从分析WordCount程序开始，后来开始阅读Hadoop源码，自认为已经看清MapReduce的运行流程。现在把自己的理解贴出来，与大家分享，欢迎纠错。 还是以最经典的WordCount程序作为基础，来分析map阶段、reduce阶段和最复杂的shuf ...
分类：
其他好文 时间：
2016-04-29 22:00:20
阅读次数：
270
