来自：http://blog.csdn.net/macyang/article/details/7880671所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），...
分类：
其他好文 时间：
2014-07-09 21:05:18
阅读次数：
248
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包2、主要程序Java代码packagec...
分类：
编程语言 时间：
2014-07-09 00:42:53
阅读次数：
384
还没有修改hosts，请先按前文修改。 还没安装java的，请按照前文配置。 （1）增加用户并设立公钥： sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >...
分类：
其他好文 时间：
2014-07-08 22:57:08
阅读次数：
329
# Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式环境整合，超详细哦
# 学习前言
一些基本的东西就不说了，前面已经说过，比如ssh免密码登录，时间同步等，如果不清楚的话请上面看Hadoop-1.x，或者Hadoop-2.X的搭建，那里面很详细。
本来这个早该整理完了，但是这段时间有点小忙，都没有时间去弄，不过今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307这个群哦，一...
分类：
其他好文 时间：
2014-07-08 19:25:04
阅读次数：
702
1、构建Nutch
tar -zxvf apache-nutch-2.2.1-src.tar.gz
cd apache-nutch-2.2.1
ant runtime
2、 ant构建之后，生成runtime文件夹，该文件夹下面有deploy和local文件夹，分别代表了nutch的两种运行方式：
Deploy：的数据必须运行在Hadoop的HDFS中
loca...
分类：
其他好文 时间：
2014-07-08 18:20:36
阅读次数：
268
最近在学习hadoop，首先通过网上大把的教程搭建好了完全分布式环境，在分布式环境上运行wordcount也成功，接下来就打算自己写mr来处理实际的业务了，在真正的开发开始之前首先要搭建好开发环境啊，所以就想到了eclipse，可接下来遇到了好多的问题：1、首先是考虑到找一个hadoop..
分类：
系统相关 时间：
2014-07-08 12:10:17
阅读次数：
271
最近在电脑上安装来双系统，其实安到就是一个Wubi版的软件，直接把现有到内存虚拟出来一片空间来承载这个Ubuntu系统，直接在网上搜Wubi版到Ubuntu，然后最好是断网安装，否则他会自动的更新，那样会很慢的，要学习hadoop,那么一个Linux系统还是必须要有的，简单到命令行操作还..
分类：
其他好文 时间：
2014-07-08 09:54:48
阅读次数：
217
问题
最近在学习Hadoop(2.2.0),打算写一个MapReduce的小程序在Ubuntu 64位的环境下测试一把，一切环境配置完毕后，执行的过程中，控制台输出下面的内容：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java clas...
分类：
其他好文 时间：
2014-07-06 00:46:04
阅读次数：
434
需要进一步学习hadoop、需要看看内部源码实现，因此需要将hadoop源码导入都eclipse中，简单总结一下，具体步骤如下：
首先确保已经安装了git、maven3、protobuf2.5、如果没有安装需要提前安装一下
1、下载hadoop源码
git clone git://git.apache.org/hadoop-common.git
2、进入hadoop-common目录，...
分类：
系统相关 时间：
2014-07-05 23:37:02
阅读次数：
288
