在编译hadoop的过程中，使用ant jar进行编译时，提示maven版本库连接超时的问题，通过搜索发现，在如下文件的位置中有repo2的版本库地址，这个地址在国内，目前不能正常的访问： 将出现repo2.maven.org/maven2的地方，都替换成： http://mirrors.ibibl...
分类：
其他好文 时间：
2015-01-30 14:52:14
阅读次数：
185
基于操作系统CentOS 6.4 basic server版，编译hadoop版本2.5.21. 下载hadoop源代码包$ wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz2...
分类：
其他好文 时间：
2015-01-12 14:19:58
阅读次数：
144
原本通过brew 安装了Hadoop 2.6.0，但是使用过程中报一个错误（错误描述），查了资料说是因为native库的问题，看了一下，发现通过brew安装的版本根本就没有native目录，所以下载了源码自己编译。结果陆续出了不少问题，记录如下：1.错误: 程序包com.sun.javadoc不存在...
分类：
系统相关 时间：
2015-01-08 14:59:25
阅读次数：
557
最近在玩hadoop,发现官网下的二进制包经常包警告,不爽,不如自己编译安装 1. 下载源码 2. 安装编译环境(gccbuild-essential ....) 3. 安装protobuf (编译hadoop需要用) 4. 安装mvn 5. 在解压源码目录执行mvn -Pdist,nat...
分类：
其他好文 时间：
2015-01-03 23:42:24
阅读次数：
257
前两天废了很大的劲来对hadoop-2.5.2进行64位系统的手动编译，由于对linux系统环境以及hadoop本身的不熟悉，编译过程中也出现了很多的问题，在此记录一下，对自己以后再次编译和看到此文章的你有一个参考和帮助。一、准备的资料64位linux系统。我使用的是 CentOSJDK 1.7+....
分类：
其他好文 时间：
2014-12-30 23:22:30
阅读次数：
211
Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x的发展，编译hadoop2.x版本的eclipse插件比之前简单多了。接下来我 们开始编译Hadoop-eclipse-plugin插件，并在Eclipse开发Hadoop...
错误1： [ERROR]?Failed?to?execute?goal?org.apache.hadoop:hadoop-maven-plugins:2.2.0:protoc?(compile-protoc)?on?project?hadoop-common:?org.apache.maven.plugin.MojoExecutionException:?pro...
分类：
系统相关 时间：
2014-12-16 11:58:42
阅读次数：
564
由于官方版本的Hadoop是32位，若在64位Linux上安装，则必须先重新在64位环境下编译Hadoop源代码。本环境采用编译后的hadoop2.5.1 。
安装参考博客：
1 http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/...
分类：
系统相关 时间：
2014-12-11 22:16:02
阅读次数：
430
-----------hadoop编译1、编译环境CentOS6.564位jdk1.7.0_71maven-3.2.3hadoop2.4.12、安装JDK,maven略3、安装protoc在hadoop2.X版本的编译时，需要protoc的支持，hadoop2.4.1需要protoc2.5.0,protoc是google开发的，需要自已下载并安装。安装protoc需要先安装几个依赖包，root..
分类：
其他好文 时间：
2014-12-10 14:34:18
阅读次数：
219
