码迷,mamicode.com
首页 > 编程语言 > 详细

“谁是大V”算法设计 (Map-Reduce TopN)

时间:2015-06-15 23:43:39      阅读:280      评论:0      收藏:0      [点我收藏+]

标签:

作业设计与资料 链接: http://pan.baidu.com/s/1o6MJTyi 密码: 628d

一、     作业要求

 

根据关注列表relsample.json文件,设计MapReduce算法得到被关注次数最多的前十人,即寻找谁是大V。

 

二、     算法设计

 

  1. 第一个Mapper用于解析json文件:

从relsample.json文件中解析出ids列表的内容,即每个人所关注的人的列表。输出的value为列表中的每一项,k为one。

对应的文件为\src\myMapper\readJsonMapper.java。

  1. Reducer根据1的结果统计每个id被关注的次数:

对应的文件为\src\myReducer\readJsonReducer.java。

  1. 第二个Mapper对2的结果进行排序,得到topN:

对应的文件为\src\myReducer\ topMapper.java。

 

Ps:排序说明

(jsonTopN和jsonTopN3两个文件夹不同部分的说明)

 

关于排序用了两种方法来实现。

第一种方法(对应jsonTopN文件夹):编写一个用于存放结果类型的类(结果包含id和被关注次数两个属性),再编写一个排序算法用于对该类进行排序(根据被关注次数排序)。

对应文件:jsonTopN\src\myCommon \myDataCell.java

          jsonTopN\src\myCommon \ mySort.java

第二种方法(对应jsonTopN3文件夹):使用Arrays.sort()对自己定义的类进行排序。具体实现是首先定义自己的类,该类必须继承自Comparable抽闲接口,因为调用sort排序的对象必须是可以比较的,通过重载Comparable接口的compareTo函数定义自己的比较规则。   

对应文件:jsonTopN3\src\myCommon \myDataCell.java

 

 

三、     运行截图

 

1. jsonTopN程序运行截图

 技术分享

 

2. jsonTopN3程序运行截图

 技术分享

 

“谁是大V”算法设计 (Map-Reduce TopN)

标签:

原文地址:http://www.cnblogs.com/qianqianjun/p/4579384.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!