码迷,mamicode.com
首页 > 其他好文 > 详细

可爱的猪——Pig

时间:2014-12-13 17:58:05      阅读:182      评论:0      收藏:0      [点我收藏+]

标签:sp   java   数据   代码   ad   as   sql   br   用户   


pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流,相当于一个有向无环图(DAG),节点代表处理数据的操作符,节点间的向量代表数据流。

pig 提供了类SQL的标准操作,比直接写mapreduce代码更容易维护,主要用于ETL,原生数据研究和迭代处理。

pig 什么数据都吃,也能在非hadoop上并行运算,容易控制和修改,性能较快。

用户提交hadoop任务的那台机器,可以提取出来作为网关机。

Pig核心是Java写的,所以要注意JAVA_HOME环境变量的设置,启动pig的脚本是bash,既可以运行在本地,也可以运行在hadoop集群上,这时需要知道集群的NameNode和JobTracker所在的位置,还可以运行在云服务上(例如AWS的EMR)。

Grunt是Pig的命令行交互工具,注意PIG_CLASSPATH的设定,除了Pig Latin的交互输入,还可以作为访问HDFS的shell,同时提供了控制pig和mapreduce的命令 kill, exec和run。

可爱的猪——Pig

标签:sp   java   数据   代码   ad   as   sql   br   用户   

原文地址:http://blog.csdn.net/wireless_com/article/details/41911435

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!