Hadoop开篇，按惯例。先编译源代码。导入到Eclipse。这样以后要了解那块，或者那块出问题了。直接找源代码。 编译hadoop2.4.1源代码之前。必须安装Maven和Ant环境，而且Hadoop须要protoc2.5.0的支持，所以还要下载protoc。我下载的是：protobuf-2.5. ...
分类：
系统相关 时间：
2017-07-25 22:40:58
阅读次数：
276
os:centos 6.7 x64 要解决的问题： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appli ...
分类：
其他好文 时间：
2017-07-10 23:51:22
阅读次数：
480
1. 下载hadoop源码(以2.7.2为例子) https://github.com/apache/hadoop/tree/branch-2.7.2/hadoop-yarn-project/hadoop-yarn 2. 安装protobuf 下载release的repo： https://gith ...
分类：
其他好文 时间：
2017-06-22 13:26:30
阅读次数：
212
近期项目须要用到hadoop。边学习边应用，第一步无疑是安装hadoop。我安装的是hadoop-2.4.1。以下是具体步骤，做备忘以后查看 一、下载依赖软件 1、java hadoop官网说明仅仅支持java 6和7 ，下载最新的java7 http://download.oracle.com/o ...
分类：
其他好文 时间：
2017-04-30 11:00:32
阅读次数：
217
1、Hadoop 项目的四大模块 Hadoop Common: The common utilities that support the other Hadoop modules.Hadoop Distributed File System (HDFS?): A distributed file ...
分类：
其他好文 时间：
2017-04-23 20:11:07
阅读次数：
222
需要下载的文件：链接：http://pan.baidu.com/s/1i5yRyuh 密码：ms91 一 下载并编译 hadoop-eclipse-plugin-2.7.3.jar 二 将hadoop-eclipse-plugin-2.7.3.jar放到myeclipse的安装目录下的plugins ...
分类：
系统相关 时间：
2016-11-12 19:12:13
阅读次数：
1170
背景： 在阅读hadoop源代码过程中会发现部分类或者函数无法找到，这是由于Hadoop2.0使用了Protocol Buffers定义了RPC协议， 而这些Protocol Buffers文件在Maven编译源代码才会生成对应的java类，因此若其他类在源代码中引用这些类则暂时无法找到。 解决办法 ...
分类：
其他好文 时间：
2016-10-02 00:21:33
阅读次数：
161
原文：http://www.cnblogs.com/qigang/p/4194728.html 一、准备的资料 64位linux系统。我使用的是 CentOS JDK 1.7+。注：使用1.7即可，如果是1.8则会编译失败，1.6没有试过，看网上大牛的帖子说也能过 maven-3.2.5。 这是ap ...
分类：
其他好文 时间：
2016-09-19 01:23:51
阅读次数：
212
1. 功能说明 使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求： 首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时 ...
分类：
移动开发 时间：
2016-08-05 12:01:10
阅读次数：
1258
一、 为什么要编译Hadoop源码 Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。 native目录是本地库，位于hadoop-2.x.x/lib/n... ...
分类：
其他好文 时间：
2016-07-19 18:51:49
阅读次数：
269
