PIGS
Time Limit: 1000MS
Memory Limit: 10000K
Total Submissions: 16054
Accepted: 7185
Description
Mirko works on a pig farm that consists of M locked pig-houses and ...
分类：
其他好文 时间：
2014-08-05 15:49:39
阅读次数：
292
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题：
什么是HBase？何时用HBase？与Hive、Pig的区别？HBase的结构为何HBase速度很快？HBase常用的操作有哪些？HBase的一些配置和监控
什么是HBase？
HBase，是Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉...
分类：
其他好文 时间：
2014-07-31 16:59:07
阅读次数：
271
Hadoop在分布式计算方面很强大，而Python在文本处理也是相当方便，那么有这两者的结合吗？有，答案就是Hadoop-Streaming。Hadoop-Streaming可以将Hadoop与主流语言结合起来，使用方便，效果很好。个人觉得Pig在处理数据集时很不方便，特别是在计算百分比等运算时，而Hadoop-Streaming是可以替代Pig的。
1.Streaming固定的代码，该代码可以...
分类：
其他好文 时间：
2014-07-29 14:39:08
阅读次数：
340
一个练习：1、student表1:zhangsan:boy:12:compute3:lisi:boy:32:math2:xiaoli:girl:23:meish模式：A = load 'student' using PigStorage(':') as (sno:chararray,sname:ch...
分类：
其他好文 时间：
2014-07-28 14:57:03
阅读次数：
176
可以作为一个随身参考1、更简单的挖掘大规模数据集而发明。可使用用户定义语言UDF进行修改运行pig脚本 pig script.piggrunt自动补全机制 tab键 创建autocomplete文件，常用单词或文件路径 quit退出2、示例 计算年度最高气温 --表示注释1)records = LO...
分类：
其他好文 时间：
2014-07-28 14:49:23
阅读次数：
339
PIGSTime Limit:1000MSMemory Limit:10000KTotal Submissions:15724Accepted:7023DescriptionMirko works on a pig farm that consists of M locked pig-houses ...
分类：
其他好文 时间：
2014-07-22 22:56:54
阅读次数：
235
（一）hadoop 相关安装部署1、hadoop在windows cygwin下的部署：http://lib.open-open.com/view/1333428291655http://blog.csdn.net/ruby97/article/details/7423088http://blog....
分类：
数据库 时间：
2014-07-22 22:50:55
阅读次数：
517
PIGSTime Limit: 1000MSMemory Limit: 10000KTotal Submissions: 15747Accepted: 7034DescriptionMirko works on a pig farm that consists of M locked pig-hou...
分类：
其他好文 时间：
2014-07-21 09:12:07
阅读次数：
314
最近项目中遇到了存储在HDFS上的数据格式不对，是由于数据中带有\r\n的字符，程序处理的时候没有考虑到这些情况。历史数据大概有一年的时间，需要把错误的数据或者重复的数据给删除了，保留正确的数据，项目中使用Pig来进行数据处理，所以我写了一个UDF的JAVA类去过滤那些错误的数据，把错误的数据和正确...
分类：
其他好文 时间：
2014-07-18 17:33:40
阅读次数：
246
