码迷,mamicode.com
首页 > 其他好文 > 详细

Pig sample用法举例

时间:2015-06-07 23:07:19      阅读:98      评论:0      收藏:0      [点我收藏+]

标签:

some = sample data 0.1

 
遍历整个数据集,获取指定比例的行数的数据,获取的数据不确定,条数也不准确。
 
内部重写为filter data by random() <= 0.1
 
 
抽取100行数据
data = load ‘data‘;
grpd = group data all;
sums = foreach grpd generate COUNT(data) as c;
some = sample data 100/(double)sums.c;

  

 

Pig sample用法举例

标签:

原文地址:http://www.cnblogs.com/lishouguang/p/4559607.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!