简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中，我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类：
其他好文 时间：
2014-05-14 00:55:11
阅读次数：
294
openstack
和hadoop的区别是什么？（一）openstack仿照的Amazon的云，hadoop仿照的是Google的云openstack注重的是虚拟化/虚拟机及其配套的服务，hadoop注重的是海量的数据分析和处理。（二）2OpenStack
主要目的是做一整套的云计算基础构架。包括 ...
分类：
其他好文 时间：
2014-05-13 23:47:42
阅读次数：
449
目前Hadoop的稳定版本为1.2.1，我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本:
Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode,
datanode,secondNameNodejobtrac...
分类：
其他好文 时间：
2014-05-13 19:29:35
阅读次数：
3175
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类：
其他好文 时间：
2014-05-13 06:53:12
阅读次数：
448
环境说明
1、硬件说明
使用三台PC机，角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
分类：
其他好文 时间：
2014-05-13 05:44:31
阅读次数：
345
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output
14/05/12 03:44:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicat...
分类：
其他好文 时间：
2014-05-13 05:38:18
阅读次数：
291
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述：namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类：
其他好文 时间：
2014-05-13 02:55:12
阅读次数：
394
一、概述本文将粗略讲述一下Hash算法的概念特性，里边会结合分布式系统负载均衡实例对Hash的一致性做深入探讨。另外，探讨一下Hash算法在海量数据处理方案中的通用性。最后，从源代码出发，具体分析一下Hash算法在MapReduce框架的中的应用。二、Hash算法Hash可以通过散列函数将..
分类：
其他好文 时间：
2014-05-13 01:34:11
阅读次数：
421
在我们选择硬件的时候，往往需要考虑应用得到的性能和经费开支。为此，我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面，以Hadoop集群应用为了例子，说明需要考虑的要素。
1. I/O绑定的工作负荷。
Hadoop涉及到的I/O操作，主要包括下列几项：
索引（Indexing）
群化（Grouping）
数据导入和导出（Data importing...
分类：
其他好文 时间：
2014-05-12 23:47:04
阅读次数：
536
学习大数据的处理，有必要读一下有关大数据的书籍。这里，我列举了几本书，仅供参考。
1 ZooKeeper: Distributed Process Coordination
这本书针对的是初级或者高级的开发，面向Zookeeper编程的工程师们。如果你的工程中（如HBase）涉及到Zookeeper的应用，有必要了解一下Zookeeper的管理知识和一些基本解...
分类：
其他好文 时间：
2014-05-12 22:46:32
阅读次数：
662
