Hadoop,HBase,Zookeeper源码编译并导入eclipse

标签：

基本理念：尽可能的参考官方英文文档

Hadoop:  http://wiki.apache.org/hadoop/FrontPage

HBase:  http://hbase.apache.org/book.html  

Zookeeper:  https://cwiki.apache.org/confluence/display/ZOOKEEPER/Index

环境介绍

Ubuntu 14.04LTS, 32位

接下来则按照Hadoop，HBase，Zookeeper顺序来进行源码编译，建立文件夹~/code用于存放源码

Hadoop

首先去Apache Hadoop官网下载源码，作者下载的是2.6.0版本，即hadoop-2.6.0-src.tar.gz

然后解压，并改下文件夹名（为了方便。。。）

$ tar -zxvf hadoop-2.6.0-src.tar.gz
$ mv hadoop-2.6.0 hadoop

在进行编译前，有一些软件包是需要必须安装的，查看Hadoop官方文档，必备软件如下：

1、JDK. 推荐orcale JDK 7，或者系统自带的OpenJDK

2、ProtocolBuffer 2.5.0，这个需要用源码安装，命令有./configur, make && make install. 注意使用protoc --version查看版本

3、Apache Maven版本3或以上，使用apt-get install即可

4、为了创建native libraries，还需要LZO headers,zlib headers, gcc, OpenSSL headers, cmake, protobuf dev tools, and libtool, and the GNU autotools (automake, autoconf, etc).

$ apt-get -y install maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev libfuse-dev

在有了上面的准备之后，便可以编译Hadoop源码并导入eclipse了

首先需要安装hadoop-maven-plugins

$ cd hadoop-maven-plugins
$ mvn install

然后回到hadoop解压后的源码目录，生成eclipse需要的工程文件

$ mvn eclipse:eclipse -DskipTests

最后打开eclipse，[File]->[Import]->[General]->[Existing Projects into Workspace]，选择hadoop解压后的根目录，导入

导入时注意由于hadoop下面子工程较多，可以选择自己感兴趣的工程进行导入，如hadoop-common，hadoop-hdfs，hadoop-yarn-common

HBase

同样HBase也得先去官方下载源码，作者下载的是0.94.11，即hbase-0.94.11.tar.gz，解压并更改文件夹名

$ tar -zxvf hbase-0.94.11.tar.gz
$ mv hbase-0.94.11 hbase 

参考HBase官方文档进行操作，进入hbase目录，首先进行Build，然后生成eclipse所需的工程文件

$ mvn clean install -DskipTests
$ mvn eclipse:eclipse 

最后打开eclipse，[File]->[Import]->[General]->[Existing Projects into Workspace]，选择hbase解压后的根目录，导入

Zookeeper

作者下载的版本为3.4.6，即zookeeper-3.4.6.tar.gz，解压并更改文件夹名

$ tar -zxvf zookeeper-3.4.6.tar.gz
$ mv zookeeper-3.4.6 zookeeper

由于zookeeper需要使用ant进行编译，所以进入zookeeper目录后使用如下命令生成eclipse所需的工程文件

$ ant eclipse

打开eclipse，[File]->[Import]->[General]->[Existing Projects into Workspace]，选择zookeeper解压后的根目录，导入

至此，便可以使用eclipse来学习Hadoop,HBase,Zookeeper的源码了

需要说明的是作者下载的均不是各个项目的最新版代码，可使用如下命令获取源码

$ git clone git://git.apache.org/hadoop.git
$ git clone git://git.apache.org/hbase.git
$ git clone git://git.apache.org/zookeeper.git

Hadoop,HBase,Zookeeper源码编译并导入eclipse

标签：

原文地址：http://www.cnblogs.com/zghaobac/p/4340285.html