接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
wc_out 需要预先定义. 下面的实例的功能是合并用户对商品的操作并记录重复次数, 创建的wc_out表结构为:
create table wc_out(user_id string,brand_id string,type string,visit_datetime string,count bigint);
然后在eclipse 中进行map /recduce 程序的编写.
将工程导出为jar文件.(略)
在ODPS中创建资源并运行
运行完成
接下来就可以设计更复杂的模型来进行预测了
ODPS 下map / reduce 的编写,布布扣,bubuko.com
原文地址：http://blog.csdn.net/ltianchao/article/details/25312013
