二.分布式计算（Map/Reduce）分 布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按GoogleMap/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件 系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分...
分类：
其他好文 时间：
2015-11-12 20:03:39
阅读次数：
292
分布式基础学习所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为 框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已 可窥见其几分风韵，但终究还是由于...
分类：
其他好文 时间：
2015-11-12 19:44:42
阅读次数：
300
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。[1]在Hadoop生态圈中，有一种相对比较新的组件叫做Oozie[2]，它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。本文中，我们会向你介绍Oozie以及使...
分类：
其他好文 时间：
2015-11-12 18:02:02
阅读次数：
230
map-reduce 过程 中间绿线区域就是shuffle（“洗牌”）过程：map之后，reduce之前的过程。 可以这样理解：一个map 产生的数据，结果通过hash过...
分类：
其他好文 时间：
2015-11-10 00:25:06
阅读次数：
226
Spark是UC Berkeley AMP 实验室基于map reduce算法实现的分布式计算框架，输出和结果保存在内存中，不需要频繁读写HDFS，数据处理效率更高Spark适用于近线或准实时、数据挖掘与机器学习应用场景Spark和HadoopSpark是一个针对超大数据集合的低延迟的集群分布式计算...
分类：
其他好文 时间：
2015-11-09 20:43:20
阅读次数：
520
转自：http://blog.csdn.net/yczws1/article/details/21899007纯干货：通过WourdCount程序示例：详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。 Shuffle过程是MapReduc...
分类：
其他好文 时间：
2015-11-06 17:38:40
阅读次数：
433
什么是Spark Spark是UC?Berkeley?AMP?lab所开源的类Hadoop?MapReduce的通用的并行计算框架，Spark基于map?reduce算法实现的分布式计算，拥有Hadoop?MapReduce所具有的优点；但不同于MapReduce的是Job中间输...
分类：
其他好文 时间：
2015-11-05 01:01:09
阅读次数：
279
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。[1]在Hadoop生态圈中，有一种相对比较新的组件叫做Oozie[2]，它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。本文中，我们会向你介绍Oozie以及使...
分类：
其他好文 时间：
2015-11-02 10:27:02
阅读次数：
419
python内置函数map/reduce/filter 这三个函数用的顺手了，很cool。filter()函数:filter函数相当于过滤，调用一个bool_func（只返回bool类型数据的方法）来迭代遍历每个序列中的元素。返回bool_func结果为true的元素的序列（注意弄清楚序列是什么意思...
分类：
编程语言 时间：
2015-10-28 19:06:20
阅读次数：
256
1、下载并配置插件将下载的hadoop-eclipse-plugin-2.6.0.jar 放到Eclipse的dropins目录下，重启Eclipse.2、配置 hadoop 安装目录window ->preference -> hadoop Map/Reduce -> Hadoop install...
分类：
系统相关 时间：
2015-10-23 18:08:50
阅读次数：
311
