码迷,mamicode.com
首页 > 编程语言 > 详细

老李分享:大数据测试中java和hadoop关系

时间:2015-11-14 23:18:27      阅读:351      评论:0      收藏:0      [点我收藏+]

标签:

Hadoop的创始人是Doug Cutting, 同时也是著名的基于Java的检索引擎库Apache Lucene的创始人。Hadoop本来是用于著名的开源搜索引擎Apache Nutch,而Nutch本身是基于Lucene的,而且也是Lucene的一个子项目。因此Hadoop基于Java就很理所当然了,所以,Hadoop是由Java编写的

Hadoop采用Java编写,因而Hadoop天生支持Java语言编写作业,但在实际应用中,有时候,因要用到非Java的第三方库或者其他原因,要采用C/C++或者其他语言编写MapReduce作业,这时候可能要用到Hadoop提供的一些工具。

如果你要用C/C++编写MpaReduce作业,可使用的工具有Hadoop Streaming或者Hadoop Pipes。

如果你要用Python编写MapReduce作业,可以使用Hadoop Streaming或者Pydoop。

如果你要使用其他语言,如shell,php,ruby等,可使用Hadoop Streaming。

老李分享:大数据测试中java和hadoop关系

标签:

原文地址:http://www.cnblogs.com/laoli0201/p/4965816.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!