Pig实战

标签：

1. pig简介

2. 安装pig

3. 实战pig

4. 深入pig

5. 参考资料及代码下载 

<1>. Pig简介 

 pig是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力，同时能够保持hadoop的简单和可靠性。

<2>. 安装pig 

2.1 下载pig：[点击下载]pig安装包

2.2 解压下载完成的pig安装包：

 xuqiang@ubuntu:~/hadoop/src/pig$ tar zxvf pig-0.8.1.tar.gz 

 xuqiang@ubuntu:~$ vim .bashrc 

 为了使新设置的环境变量生效，使用如下命令：

 xuqiang@ubuntu:~$ pig -x local

<3>. Pig实战 

在pig下载的安装包，解压完成了之后，有一个tutorial目录，我们使用里面的数据来开始pig学习。如果tutorial目录下没有存在pigtutorial.tar.gz文件的话，那么需要使用ant来编译出这个文件：

xuqiang@ubuntu:~/hadoop/src/pig/pig-0.8.1$ ant

xuqiang@ubuntu:~/hadoop/src/pig/pig-0.8.1$ cd tutorial/

 .

<4>. 深入pig 

4.1 Utility and file commands

4.2 Data read/write operators 

4.3 Diagnostic operators诊断操作

4.4 Data type and schemes

 pig中有6个基本数据类型和3个复合数据类型，基本数据类型如下：

复合数据类型： 

pig中数据模型中能够允许数据类型的嵌套，类似于xml/json格式。

4.5  Expression and functions

pig能够支持常见运算符。

同时在pig中提供了一些内建函数。

这里我们没有给出示例，将在下面给出示例。 

4.6 Retional operators

首先编写两个数据文件A：

0,1,2

4.7  Working with UDF(user defined function)

pig能够支持两种类型的UDFs：eval和load/store，其中load/store的自定义函数主要是用来加载和保存特定的数据格式；eval自定义函数主要用来进行常规的数据转换。

1. eval

如果想要实现自定义的eval类型的函数，那么基本的做法是首先编写一个类继承自EvalFunc<T>这个抽象类，同时需要重写这个类的一方法：

abstract public T exec(Tuple input) throws IOException; 

该方法传入的类型是Tuple类型。

如果调用udf时使用的是:udf(ARG1, ARG2);那么调用input.get(0)将得到ARG1，同理input.get(1)得到的是ARG2，input.getSize()得到传递的参数的数量，这里就是2.

下面我们就开始编写udf UPPER.java，将UPPER.java文件保存到myudfs目录下：

package myudfs;
import java.io.IOException;
import org.apache.pig.EvalFunc;
import org.apache.pig.data.Tuple;
import org.apache.pig.impl.util.WrappedIOException;

public class UPPER extends EvalFunc<String>
{
    public String exec(Tuple input) throws IOException {
        if (input == null || input.size() == 0)
            return null;
        try{
            String str = (String)input.get(0);
            return str.toUpperCase();
        }catch(Exception e){
            throw WrappedIOException.wrap("Caught exception processing input row ", e);
        }
    }

}

编译该文件，同时生成该jar文件：

xuqiang@ubuntu:~/hadoop/src/pig/pig-0.8.1/myudfs$ cd ..

 在pig中测试该udf：

xuqiang@ubuntu:~/hadoop/src/pig/pig-0.8.1$ pig -x local

注册该udf：

Pig实战

标签：

原文地址：http://www.cnblogs.com/andy6/p/5800558.html