map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的 ...
分类：
其他好文 时间：
2016-08-01 17:28:01
阅读次数：
109
简述QtConcurrent::map()、QtConcurrent::mapped()和QtConcurrent::mappedReduced()函数并行地运行计算在一个序列上（例如：QList或QVector）的items。 QtConcurrent::map()直接修改一个序列，QtConcurrent::mapped()返回一个包含修改内容的新序列，QtConcurrent::mappedR...
分类：
其他好文 时间：
2016-07-29 19:07:43
阅读次数：
503
Gpars是groovy的并行处理框架。其支持Actors, Map/Reduce, Dataflow, Fork/Join。关注更多请访问GPars website. ...
分类：
其他好文 时间：
2016-07-29 18:29:38
阅读次数：
450
三个函数比较类似，都是应用于序列的内置函数。常见的序列包括list、tuple、str。 1.map函数 map函数会根据提供的函数对指定序列做映射。 map函数的定义： map(function, sequence[, sequence, ...]) -> list 通过定义可以看到，这个函数的第 ...
分类：
其他好文 时间：
2016-07-28 15:00:31
阅读次数：
93
第一章：Spring Data JPA入门 Spring Data是什么 Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data 包含多个子项目： Commons - ...
分类：
编程语言 时间：
2016-07-22 14:28:22
阅读次数：
257
Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。 MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。 以下是MapReduce的基本语法： 使用 MapReduce 要实现两个函数 M ...
分类：
数据库 时间：
2016-07-19 15:31:05
阅读次数：
212
HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作
一、 hbase架构
1.概述。
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的...
分类：
其他好文 时间：
2016-07-15 21:37:29
阅读次数：
207
版本：1.6.2
不管是hadoop中map/reduce还是spark中各种算子，shuffle过程都是其中核心过程，shuffle的设计是否高效，基本确定了整个计算过程是否高效。 设计难点在于shuffle过程涉及到大数据的IO操作（包括本地临时文件IO和网络IO），以及可能存在的cpu密集型排序计算操作。
在spark1.6.2版本，spark针对大型数据有三种shuffle 机制，...
分类：
其他好文 时间：
2016-07-15 21:24:19
阅读次数：
168
python中一切皆对象，函数也看做对象。 常用的几个内建函数Map，Reduce，Filter，lamda。 Filter 筛选出满足过滤条件的元素 Map 接收两个参数，第一个是函数，第二个是list，返回结果 Reduce 和map一样接收两个参数，但是他返回一个结果，会迭代第二个参数list ...
分类：
编程语言 时间：
2016-07-13 06:51:33
阅读次数：
156
好文推荐！！！！！ 原文见：http://blog.csdn.net/dm_vincent/article/details/40856569 Java 8中同时存在面向对象编程(OOP)和函数式编程(FP, Functional Programming)这两种编程范式。实际上，这两种范式并不矛盾，只 ...
分类：
编程语言 时间：
2016-07-12 17:16:43
阅读次数：
313
