flare-spork: 自己维护的Pig on Spark项目

时间：2014-04-30 22:15:39 阅读：360 评论：0 收藏：0 [点我收藏+]

标签：spark pig

关于flare-spork

很早以前有个Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。

flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。

目前项目在Github上，地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。

Github上的内容已经是merge进Pig 0.12.0的Spork版本了，可以编译和运行。更多细节的内容可以参考里面的README。有介绍如何编译，有什么改变，能跑什么样的简单demo。

标签：spark pig

原文地址：http://blog.csdn.net/pelick/article/details/24726501

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行