hadoop与pig的版本:
hadoop-1.2.1
pig-0.12.1.tar.gz
pig是基于hadoop的处理框架
1. pig有一套自己的处理语言,pig的处理过程要转化为MR运行
2.pig的数据处理语言是数据流的方式
3.pig的数据类型:
int , long , float , double , chararray, bytearray, Map , Tuple , Bag
安装pig:
安装pig的过程十分简单:
将pig.xxx.tar.gz 拷贝到/usr下面
1.解压:
sudo tar -zxvf pig.xxx.tar.gz
2.重命名:
sudo mv pig.xxx. pig
3.修改配置文件(此处已经安装了很多框架)
sudo vim /etc/peofile
pig_home , path 的改变。
4 source /etc/peofile
5 编辑/usr/pig/conf/pig.properties
添加:
参照自己的hadoop的配置。
6.进入 bin/ pig 进入pig终端:
pig 正常起来。
7 quit 退出 grunt
8 自己实现使用pig处理数据。
原文地址:http://blog.csdn.net/xd_122/article/details/41480443