很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。
flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。
目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。
Github...
分类:
其他好文 时间:
2014-04-30 22:15:39
阅读次数:
360