1、在pig下载的安装包，解压完成了之后，有一个tutorial目录，我们使用里面的数据来开始pig学习。如果tutorial目录下没有存在pigtutorial.tar.gz文件的话，那么需要使用ant来编译出这个文件 如果没有ant，见分类linux下的ant安装2、进入tutorial目录，....
分类：
其他好文 时间：
2014-06-19 00:43:35
阅读次数：
303
1、练习 首先编写两个数据文件A： 0,1,2 1,3,4 数据文件B： 0,5,2 1,7,8 上传到HDFS对应目录/input目录下2、运行pig ,加载A和B 加载数据A：使用指定的分隔符, grunt> a = load '/input/A' using PigStora...
分类：
其他好文 时间：
2014-06-19 00:27:03
阅读次数：
354
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
1、pig安装 1）解压，重命名、设置环境变量，同hadoop 2）编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类：
其他好文 时间：
2014-06-14 11:40:40
阅读次数：
205
学习有两种方式。第一是强化。
任何事物，你想明白，下功夫就够。华生让小阿尔伯特学会了恐惧小白鼠。 后来者推波助澜，Peter Pig可以放置物品，斯金纳的鸽子会打球，海豚学会了表演。
奥巴马总统在为小朋友的演讲中也提到了学习中碰到挫折的时候，需要重复，这其实契合行为主义的思想。这第一种方式的内涵就是...
分类：
其他好文 时间：
2014-06-12 15:28:20
阅读次数：
205
Physical
Plan生成过程优化后的逻辑运行计划被LogToPhyTranslationVisitor处理，生成物理运行计划。这是一个经典的Vistor设计模式应用场景。当中，LogToPhyTranslationVisitor的visit()为入口方法，通过DependencyOrderWa...
分类：
其他好文 时间：
2014-06-10 21:35:33
阅读次数：
362
相比Java的MapReduce
api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。Hadoop版本：2.2.0Pig...
分类：
其他好文 时间：
2014-06-05 20:08:13
阅读次数：
373
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
其他好文 时间：
2014-06-05 14:25:48
阅读次数：
300
Pig可以看做是Hadoop的客户端软件，使用Pig
Latin语言可以实现排序、过滤、求和、分组等操作。Pig的安装步骤：一、去Pig的官方网站下载。http://pig.apache.org/releases.html#14+April%2C+2014%3A+release+0.12.1+ava...
分类：
其他好文 时间：
2014-05-28 19:08:51
阅读次数：
358
