码迷,mamicode.com
首页 > Web开发 > 详细

Apache DataFu: LinkedIn开源的Pig UDF库

时间:2017-08-15 21:49:41      阅读:233      评论:0      收藏:0      [点我收藏+]

标签:基本   term   page   distinct   imp   有序   ==   tor   agent   

介绍

Apache DataFu分两部分,本文介绍的是其Pig UDF的部分。代码在Github上开源(除了代码外。也有一些slides介绍链接)。

DataFu里面是一些Pig的UDF。主要包含这些方面的函数:

bags、geo、hash、linkanalysis、random、sampling、sessions、sets、stats、urls

每方面都相应一个package。


我把全部的函数源代码都浏览了一遍。事实上本身对这些UDF的使用,官方的文档上都有介绍,并且源代码的凝视里也些的非常清晰。所以使用本身是非常easy的。

从实现角度看,继承自Pig EvalFunc体系。我们知道Pig里的builtin functions里,有代数函数(AVG、COUNT、Distinct、TOP)。代数数学函数(MAX、SUM),基本数学函数(SIN、COS、TAN、FLOOR、LOG)等等。

DataFu实现了一个SimpleEvalFunc抽象类,继承自EvalFunc,包装了EvalFunc。为简单的UDF简化了实现过程(省略了一些异常检查情况,仅仅需注重处理逻辑)。

通过反射的方式,在exec()方法里做好參数null检查,个数检查,最后把參数传给子类实现的call()方法,返回结果。

SimpleEvalFunc的子类继承体系例如以下:
技术分享


以下那各个Package包括的函数功能简单概况一下。


bags

对Bag的基本操作,涉及append、concat、group、left-join、split、count等等


geo

经纬度距离计算


hash

对输入的String进行MD5和SHA的转换


linkanalysis

一个PageRank的实现


random

仅仅有一个RandInt。输入两个值,输出两值之间的一个random值


sampling

SimpleRandomSample和ReservoirSample,后者的Reservoir是一个PriorityQueue,存的是ScoredTuple。前后者差别在于无界和有界的sample结果。


sessions

按一段time window来group


sets

Set之间的差、交、并。

处理的bag内的tuples必须是有序的。


stats

统计相关方法:

      计算Quantile的两种方式。一种是流式的。Quantile包括了Median。

      方差。


urls

用于区分user agent来源(电脑还是手机。什么系统的手机)




全文完 :)

Apache DataFu: LinkedIn开源的Pig UDF库

标签:基本   term   page   distinct   imp   有序   ==   tor   agent   

原文地址:http://www.cnblogs.com/zhchoutai/p/7367892.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!