侧联结原理：
Map端工作：为来自不同表，也就是多个数据集的key/value对贴上一个标签，来区别不同数据源的记录。然后用链接字段作为kye，其余部分和新加的标志作为value，最后输出一个记录包。也就是说。，map端的工作就是做来源判断，并对符合key的值进行区分。
Map端完成之后就是就将数据分组了。
Reduce端工作：在reduce端以链接字段作为key的分组已经完成，我们只需要在...
分类：
其他好文 时间：
2015-08-29 00:55:49
阅读次数：
142
reduce的数目到底和哪些因素有关1、我们知道map的数量和文件数、文件大小、块大小、以及split大小有关，而reduce的数量跟哪些因素有关呢？设置mapred.tasktracker.reduce.tasks.maximum的大小可以决定单个tasktracker一次性启动reduce的数目...
分类：
其他好文 时间：
2015-08-28 21:18:34
阅读次数：
278
Map、Reduce任务中Shuffle和排序的过程同样贴出我在visio中画出的流程示意图：流程分析：Map端：1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓...
分类：
编程语言 时间：
2015-08-28 17:09:40
阅读次数：
754
角色描述：JobClient:执行任务的客户端JobTracker:任务调度器TaskTracker:任务跟踪器Task:具体的任务(Map OR Reduce)从生命周期的角度来看，mapreduce流程大概经历这样几个阶段：初始化、分配、执行、反馈、成功与失败的后续处理每个阶段所做的事情大致如下...
分类：
其他好文 时间：
2015-08-28 13:12:19
阅读次数：
164
问题导读：1.如何在讲mapreduce函数中的字符串等信息，输出到eclipse控制台？2.除了使用下文方法，还有其它方法输出到控制台？3.map中，系统默认接受的value值是什么？4.reduce输出不是自己想要的结果，可能的原因是什么？mapreduce不是很好理解，为什么？因为我们传统编程...
分类：
其他好文 时间：
2015-08-27 18:27:26
阅读次数：
162
理解其就像关系型数据库中的链接查询一样,数据很多的时候,几个数据文件的数据能够彼此有联系,可以使用Reduce联结。举个很简单的例子来说,一个只存放了顾客信息Customer.txt文件,和一个顾客相关联的Order.txt文件,要进行两个文件的信息组合,原理图如下:
这里涉及的几个专业术语:Group key ，datasourde,Tag.前者的话通俗点来说的话就相当于关系型数据库中的...
分类：
其他好文 时间：
2015-08-27 00:24:44
阅读次数：
177
案例分析前提，了解其原理，以及术语术语部分：
1.Data Source：基本与关系数据库中的表相似，形式为：（例子中为CSV格式） Customers Orders
1,Stephanie Leung,555-555-5555 3,A,12.95,02-Jun-2008
2,Edward Kim,123-456-789...
分类：
其他好文 时间：
2015-08-26 22:27:02
阅读次数：
315
一 前言 初次接触函数式编程是在学习分布式计算的时候，那时候对map/reduce是不明觉厉，也没有懂多少原理方面的东西。Python中的函数式编程也算是初步了解一下map/reduce。所谓函数式编程，本质上是可以归结为面向过程的程序设计，但是它的思想很接近数学计算。它比一般的编程范式要更抽象，....
分类：
编程语言 时间：
2015-08-26 15:20:20
阅读次数：
206
Mapreduce 是谷歌提出的一个分布式计算框架， 利用该框架， 能够让用户方便地利用多机并行处理数据。 该框架有两个重要的函数： Map 和 Reduce， Map 函数对整个输入数据进行处理， 按照用户定义的处理方式， 从输入的数据中产生中间键值对（ key， value）。Reduce 函数对这些键值对进行处理， 相同 key 的键值...
分类：
编程语言 时间：
2015-08-25 21:44:34
阅读次数：
227
原文地址：http://soft.chinabyte.com/database/431/12914931.shtml概述 什么是Spark ◆ Spark是UC Berkeley AMP lab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于map reduce算法实.....
分类：
其他好文 时间：
2015-08-21 15:17:40
阅读次数：
278
