码迷,mamicode.com
首页 > 其他好文 > 详细

ODPS 下一个map / reduce 准备

时间:2015-07-05 13:44:51      阅读:162      评论:0      收藏:0      [点我收藏+]

标签:

 

  阿里接到一个电话说练习和比赛智能二选一, 真的很伤心, 练习之前积极老龄化的权利.

 

   要总结ODPS下一个 写map / reduce 并进行购买预测过程.

 

   首先这里的hadoop输入输出都是表的形式, 我们须要一张输入表和一张输出表.

   输入表为 提供的 t_alibaba_bigdata_user_brand_total_1  输出表为自己定义的wc_out

   wc_out 须要预先定义.  以下的实例的功能是合并用户对商品的操作并记录反复次数, 创建的wc_out表结构为:

   create table wc_out(user_id string,brand_id string,type string,visit_datetime string,count bigint);

 

  然后在eclipse 中进行map /recduce 程序的编写.

 

技术分享技术分享

技术分享

技术分享

 

将project导出为jar文件.(略)

在ODPS中创建资源并执行

技术分享

执行完毕

技术分享

 

接下来就能够设计更复杂的模型来进银行预测

 

 

版权声明:本文博客原创文章。博客,未经同意,不得转载。

ODPS 下一个map / reduce 准备

标签:

原文地址:http://www.cnblogs.com/yxwkf/p/4622016.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!