码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop Join

时间:2019-05-31 21:37:02      阅读:108      评论:0      收藏:0      [点我收藏+]

标签:reduce   处理   区别   字段   red   原理   hadoop   不同   业务逻辑   

1. Reduce Join工作原理

  • Map端的主要工作:为来自不同表或文件的key/value对,打标签以区别不同来源的记录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。

2. Map Join

  • 使用场景:适用于一张表十分小,一张表很大的场景;
  • 在 Map 端缓存多张表,提前处理业务逻辑,这样增加Map端业务,减少Reduce端数据的压力,尽可能减少数据倾斜;

Hadoop Join

标签:reduce   处理   区别   字段   red   原理   hadoop   不同   业务逻辑   

原文地址:https://www.cnblogs.com/linkworld/p/10957487.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!