码迷,mamicode.com
首页 > 其他好文 > 详细

Pig UDF 用户自定义函数

时间:2015-06-07 23:24:54      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:

注册UDF

do.pig的内容如下:
register /xx/yy.jar
data = load ‘data‘;
result = foreach data generate aa.bb.Upper($0);
dump result;

   

register的路径可以是本地路径,也可以是hdfs路径
register hdfs://pig/xx/yy.jar

   

如果是pig -Dudf.import.list=aa.bb,在引用UDF时可以不用包路径:
register /xx/yy.jar
data = load ‘data‘;
result = foreach data generate Upper($0);
dump result;

   

如果是pig -Dpig.additional.jars=/xx/yy.jar,可以不用register:
data = load ‘data‘;
result = foreach data generate aa.bb.Upper($0);
dump result;

   

可以使用define为UDF起别名:
register /xx/yy.jar
define UPPER aa.bb. Upper();
data = load ‘data‘;
result = foreach data generate UPPER($0);
dump result;

   

如果构造UDF需要参数,可以在define里传入,也可以define多个重载的构造函数
register /xx/yy.jar
define UPPER1 aa.bb. Upper();
define UPPER2 aa.bb. Upper(‘abc‘);
data = load ‘data‘;
result = foreach data generate UPPER1($0), UPPER2($1);
dump result;

   

调用静态java函数
可调用的函数必须符合条件:
1)静态函数
2)参数是基本数据类型、stirng、array
3)返回值是基本数据类型、string
多个参数用空格分隔
InvokeForInt、InvokeForLong、InvokeForFloat、InvokeForDouble、InvokeForString
define hex InvokeForString(‘java.lang.Integer.toHexString‘, ‘int‘);
data = load ‘data‘;
result = foreach data generate hex((int)$0);

  

define stdev InvokeForDouble(‘com.acme.stats.stdev‘, ‘double[]‘);
a = load ‘data‘ as (id:int, dp:double);
b = group a by id;
c = foreach b generate stdev(a.dp);

   


自定义UDF
Eval Function (运算函数)
package com.test.pig.udf;
import java.io.IOException;
import org.apache.pig.EvalFunc;
import org.apache.pig.data.Tuple;
public class CustomReplaceFunc extends EvalFunc<String> {
	@Override
	public String exec(Tuple tuple) throws IOException {
		if(tuple == null || tuple.size() == 0 || tuple.isNull(0) ) {
			return null;
		}
		
		String original = (String)tuple.get(0);
		String oldChar = (String)tuple.get(1);
		String newChar = (String)tuple.get(2);
		
		return original.replaceAll(oldChar, newChar);
	}
}

  

register /home/pig/myfunc.jar
define MyReplace com.test.pig.udf.CustomReplaceFunc();
users = load ‘/users.data‘ as (name:chararray, age, address);
result = foreach users generate MyReplace(name, ‘l‘, ‘L‘), age, address;
dump result;

  

Aggregate Function (聚合函数)
Filter Function(过滤函数)
Load Function(加载函数)
Store Function(存储函数)
 

Pig UDF 用户自定义函数

标签:

原文地址:http://www.cnblogs.com/lishouguang/p/4559619.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!