在pig中， dump和store会分别完毕两个MR， 不会一起进行1：载入名用正則表達式：LOAD '/user/wizad/data/wizad/raw/2014-0{6,7-0,7-1,7-2,7-3,8}*/3_1/adwords*'2：filter的几种简单使用方法：按值过滤FILTER ...
分类：
其他好文 时间：
2014-11-13 20:26:27
阅读次数：
163
pig对文本null的处理很特殊。会处理成两种null，还会处理成''这种空值。
比如，读name,age,sex日志信息。name取值处理，如果记录为“，，，”这样，会将name取值为null，如果记录为“，19，男”则name会处理为''。同样是空值，pig读取后的取值却不一样。所以一定要小心。
pig读取日志信息，遇到取值为空的字段会处理为两种，一种取值为''，另一种为null。...
分类：
其他好文 时间：
2014-11-13 16:39:07
阅读次数：
286
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表hadoop只支持HDFS这一中实现，其同时支持别的存储系统，并在别的存储系统上运行分布式计算程序（mapreduce）。 从开发角度来说，h...
分类：
其他好文 时间：
2014-11-11 09:22:37
阅读次数：
239
我现在有一个动物的继承体系: Animal 所有的动物都要吃饭. |--Pig |--Dog 当创建对象比较简单的时候,我们就可以直接在main方法里面做了,但是,很多时候,创建对象可能还需要做一些初始化, 也就是说创建对象的操作会比较复杂,这个时候,如果所有对象的创建工作我们还是在mai...
分类：
其他好文 时间：
2014-11-09 00:56:20
阅读次数：
193
hadoop环境描述：master节点：node1slave节点：node2，node3，node4远端服务器（python连接hive）：node29需求：通过hive查询到cdn日志中指定时间段内url访问次数最多的前10个urlps：用pig查询可以查询文章：http://shineforever.blog.51cto.com/1429204/1571124说明：python操..
分类：
编程语言 时间：
2014-11-06 17:50:01
阅读次数：
424
piggybank里面有很多函数，可以用register和define调用。也可以用java仿照piggybank自行开发。
比如读sequence二进制文件，可以用piggybank里面函数SequenceFileLoader，也可以自行开发函数。
--REGISTER piggybank.jar;
REGISTER wizad-etl-udf-0.1.jar;
--DEFINE...
分类：
其他好文 时间：
2014-11-05 17:22:15
阅读次数：
217
小猪的Android入门之路 Day 1Android相关背景与开发环境的搭建------转载请注明出处:coder-pig本节引言:随着社会经济的发展,移动互联网的越来越热,手机APP开发显得格外火爆,作为一名快要毕业的IT屌丝,自然要趟一趟这一浑水啦,当前主流的手机系统IOS(苹果),Andro...
分类：
移动开发 时间：
2014-11-01 11:32:18
阅读次数：
227
1：加载名用正则表达式：
LOAD '/user/wizad/data/wizad/raw/2014-0{6,7-0,7-1,7-2,7-3,8}*/3_1/adwords*'
2：filter的几种简单用法：
按值过滤
FILTER clickDate_all BY log_type=='2';
FILTER mapping_table BY mapping_ad_network_...
分类：
其他好文 时间：
2014-10-31 19:07:07
阅读次数：
272
目录1.hadoop分布式安装2.zookeeper分布式安装3.hbase分布式安装4.pig分布式安装5.hive客户端安装
分类：
其他好文 时间：
2014-10-31 08:45:43
阅读次数：
244
TheFirstPigProgram环境： Hadoop-1.1.2 pig-0.11.1 linux系统为CentOS6.4 jdk1.6在伪分布式下模式下运行启动：pig或pig–xmapreduce启动后会看到这样的界面就表示启动成功了我们来运行一个例子输入数据st...
分类：
其他好文 时间：
2014-10-26 14:16:29
阅读次数：
237
