Eclipse 导入Hadoop 2.6.0 源码

标签：

1. 首先前往 官网（Hadoop 2.6 下载地址）上下载Hadoop的源码文件，并解压

2. 事先请确定已经安装好jdk以及maven（Maven安装教程 这是其他人写的一篇博文，保存profile后，记得source下）

3. 进入到hadoop-2.6.0-src/hadoop-common-project/hadoop-common/src/test/java/org/apache/hadoop 目录

     可以看到有很多文件夹，找到ipc目录，在里面mkdir protobuf文件夹（还有一丢丢问题，这个后面解决）

4. 安装protobuf

下载地址 ： http://pan.baidu.com/s/1pJlZubT  并解压

切换到protobuf文件夹，依次在终端下输入：

 . / configure

make 

make check

make install

全部执行完后再输入protoc - - version检查是否安装成功。

5. hadoop-2.6.0-src/hadoop-common-project/hadoop-common/src/test/java/org/apache/hadoop/io/serializer/avro/TestAvroSerialization.java显示找不到AvroRecord类

    去grepcode下载2.5.0或者更高版本的。放到相应位置

6. cd到 hadoop-2.6.0-src/hadoop-maven-plugins 目录下 使用：mvn intall

7. cd到hadoop-2.6.0-src 目录下 使用mvn eclipse:eclipse -DskipTests

8. 在Eclipse中：File-Import-Existing Projects into Workspace 选择hadoop-2.6.0-src目录导入（推荐换一个workspace再导入，因为project的数目挺多的）

 到了这一步，基本上已经没什么问题了，但是还有一些小问题，需要解决

可能遇到的问题：

1.org.apache.hadoop.ipc.protobuf 包下，可能是空包。

   去grepcode上搜索TestProtos和TestRpcServiceProtos两个类，我遇到的情况是本地目录已经存在那两个文件，却没有导入。

没有上述两个类，会提示一大片的EmptyRequestProto之类的无法解析

2.会提示com.sum.tool或者javadoc包无法解析

  右键选择buildpath -> configure build path -> library -> add library -> ire system 即可

3. hadoop-streaming 工程中的build path 有问题

     把source中的hadoop-yarn-server-resourcemanager/conf删除掉，然后Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf

参考资料：

1. 在mac中导入hadoop2.6.0源代码至eclipse教程

2. Eclipse导入Hadoop源码

3.  hadoop-2.6.0-src源码导入Eclipse

4. grepcode TestProtos

5. 百度知道：导入时可能遇到的错误以及解决办法 （请参考其他1条回答）

Eclipse 导入Hadoop 2.6.0 源码

标签：

原文地址：http://www.cnblogs.com/nashiyue/p/4424880.html