码迷,mamicode.com
首页 > 其他好文 > 详细

JOIN操作

时间:2015-04-13 14:48:27      阅读:105      评论:0      收藏:0      [点我收藏+]

标签:

对于 JOIN 操作:

INSERT OVERWRITE TABLE pv_users

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

实现过程为:

  • Map

  •  JOIN ON 条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合

  •  JOIN 之后所关心的列作为 Value,当有多个列时,Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息,用于标明此 Value 对应于哪个表。

  • 按照 Key 进行排序。

  • Shuffle

  • 根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中。

  • Reduce

  • Reducer 根据 Key 值进行 Join 操作,并且通过 Tag 来识别不同的表中的数据。

    具体实现过程如图:

    技术分享技术分享

    技术分享

JOIN操作

标签:

原文地址:http://my.oschina.net/crxy/blog/399986

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!