码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop 计算 pv uv

时间:2015-01-18 11:55:00      阅读:224      评论:0      收藏:0      [点我收藏+]

标签:hadoop   uv计算   

使用hadoop 进行页面的pv uv 计算
不推荐的做法 
将访问者的cookie放在hashmap中进行去重计算uv,因为当访问量大时,会将hashmap撑爆,报出
java.lang.OutOfMemoryError: Java heap space

推荐做法:
使用textpair 将cookie作为second key 进行排序,在reduce中进行判断,如果上一个cookie和当前cookie不同则uv计数器加1

reduce 部分代码:
public void reduce(TextPair key, Iterable<Text> values, Context context)
 throws IOException, InterruptedException {
  Iterator<Text> it = values.iterator();

  Long pv_wap =0L;
  Long uv_wap=0L;
 
  String tempvalue="";
  String cookie_id="";
  String last_wap_cookie="";
  while (it.hasNext()) {
   it.next();
   cookie_id = key.getSecond().toString();
    pv_wap++;
    if(!cookie_id.equals(last_wap_cookie)){
     uv_wap++;
     last_wap_cookie=cookie_id;
    }
    }


hadoop 计算 pv uv

标签:hadoop   uv计算   

原文地址:http://blog.csdn.net/smile0198/article/details/42834005

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!