Hadoop之——Pig框架

标签：hadoop   mapreduce   pig   map   hdfs   

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46491773

1.Pig是基于hadoop的一个数据处理的框架。

2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。

3.Pig基本数据类型：int、long、float、double、chararry、bytearray

4.如何安装Pig

4.1 把pig-0.11.1.tar.gz复制到/usr/local下

4.2 使用命令tar -zxvf  pig-0.11.1.tar.gz解压缩

4.3 使用命令mv pig-0.11.1  pig 进行重命名

4.4 编辑文件vi /etc/profile 设置环境变量

4.5 编辑文件$PIG_HOME/conf/pig.properties

    增加两行如下内容

5.对wlan数据如何使用pig进行分析处理

5.1 把待处理的数据上传到HDFS中

5.2 把HDFS中的数据转换为pig可以处理的模式

5.3 把里面的有用的字段抽取出来

5.4 分组数据

5.5 流量汇总

5.6 存储到HDFS中

Hadoop之——Pig框架

标签：hadoop   mapreduce   pig   map   hdfs   

原文地址：http://blog.csdn.net/l1028386804/article/details/46491773