声明：
本博客欢迎转载，但请保留原作者信息，并请注明出处!
作者：郭德清
团队：华为杭州OpenStack团队
Sahara旨在为用户提供简单部署Hadoop集群的能力，比如通过简单的配置：Hadoop版本、集群结构、节点硬件信息等。在用户提供了这些参数后，Sahara迅速把Hadoop集群部署起来。同时也支持集群的扩容和减容。
...
分类：
其他好文 时间：
2014-12-10 09:21:30
阅读次数：
232
Hadoop，HBase，Storm，Spark到底是什么？
Hadoop=HDFS+Hive+Pig+......
分类：
其他好文 时间：
2014-12-09 17:45:22
阅读次数：
183
最近使用Vagrant搭建了一个有3台主机的Hadoop集群，使用的是Cloudera Manager来管理，最初在我的笔记本上虚拟了4台主机，一台最为cloudera Manager Server，其他几台运行cloudera Manager Agent,在本机运行正常后，发现内存占用太厉害，我打...
分类：
其他好文 时间：
2014-12-09 17:36:40
阅读次数：
250
zookeeper在单机上伪集群测试时，出现Unable to start AdminServer, exiting abnormally...
分类：
其他好文 时间：
2014-12-08 21:23:58
阅读次数：
1446
有四台Linux服务器，其中一台为主，其它为从。服务器使用的是CentOS6.5，jdk选择1.6，hadoop选择1.0.4版本。要到实际环境中应用还要根据实际情况做修改。如果是新装好的系统，要先配置好ip，shell脚本如下：#!bin/bashread"inputip:"ipecho‘thedefaulthostnameismaster‘sed-i‘$..
分类：
系统相关 时间：
2014-12-08 07:07:13
阅读次数：
292
导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基...
分类：
其他好文 时间：
2014-12-04 21:24:35
阅读次数：
291
1 Hadoop集群系列集锦http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html2 Hadoop和MapReduce详解http://www.cnblogs.com/chinacloud/category/273179.htm...
分类：
其他好文 时间：
2014-12-04 21:15:19
阅读次数：
181
1、 软件环境
a) Eclipse
b) 运行中的hadoop集群
2、 eclipse上安装hadoop插件
a) 首先将eclipse Hadoop的插件放置到eclipse/plugins目录下，重启eclipse
b) 如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/...
分类：
系统相关 时间：
2014-12-02 00:09:10
阅读次数：
299
最近我所在的一个项目进行了Hadoop版本迁移，由hadoop-0.20.2迁移至hadoop-2.2.0,旧版的mapreduceJob虽然都是用旧的API写的，但在新环境下基本上都是兼容的，只有两个涉及到globalsort的Job，出现了同样的问题，报错分别如下：1、wrongkeyclass:org.apache.hadoop.io.LongWrita..
分类：
编程语言 时间：
2014-11-30 00:58:50
阅读次数：
198
最近借到了子柳先生的《淘宝技术这十年》，拜读一番，感慨万分。将书中内容加上自己的想法说说，毕竟未经人事看法粗浅，希望能得到前辈们的指点。一、淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据）拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB内...
分类：
其他好文 时间：
2014-11-25 12:29:19
阅读次数：
257
