码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop join

时间:2020-09-17 19:03:58      阅读:23      评论:0      收藏:0      [点我收藏+]

标签:oop   hadoop   部分   val   ado   合并   连接   map   不同   

一、Map端的主要工作

为来自不同表或文件的key/value对,打标签以区别不同来源的记录。

然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。

二、Reduce端的主要工作

在Reduce端以连接字段作为key的分组已经完成,

我们只需要在每一个分组当中将那些来源于不同文件的记录(在Map阶段已经打标志)分开,

最后进行合并就ok了。

Hadoop join

标签:oop   hadoop   部分   val   ado   合并   连接   map   不同   

原文地址:https://www.cnblogs.com/wt7018/p/13635995.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!