resourcemanager：管理集群上面的资源 cpu和内存NodeManager:上面跑程序 applicationMaster 多个在NodeManager上面Mapreduce上面的程序叫MRAppMaster在NodeMnager上面Mapreduce 上运行MapTask或Reduce...
分类：
其他好文 时间：
2015-07-30 23:05:39
阅读次数：
130
本篇博客参考：Clustering by fast search and find of density peaks论文以及http://www.cnblogs.com/peghoty/p/3945653.html。 使用版本：Hadoop版本：2.6.0，Myeclipse：10.0 本地集群情况：node101 (主节点，namenode，datanode，ResourceManager，N...
分类：
其他好文 时间：
2015-07-24 18:32:48
阅读次数：
138
导读内容：
1.如何通过web查看hdfs集群状态
2.如何通过web查看运行在在主节点master上ResourceManager状态
3.如何通过web查看运行在在slave节点NodeManager资源状态
4.JobHistory 可以查看什么信息
分类：
Web程序 时间：
2015-07-01 15:39:47
阅读次数：
167
Hadoop2对HDFS的改进很大，支持HDFS(NameNode)和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署。一、部署前..
分类：
其他好文 时间：
2015-06-12 22:28:03
阅读次数：
267
上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
在一个典型的事务处理场景中，有以下几个参与者：Resource Manager(RM)ResourceManager简称RM，它负责存储并管理系统数据资源的状态，比如数据库服务器，JMS消息服务器等都是相应的Resource Manager。Transaction Processing Monito...
分类：
编程语言 时间：
2015-06-11 00:13:28
阅读次数：
223
先启动所有的zookeeperzkServer.sh start在所有节点上启动JournalNode：sbin/hadoop-daemon.sh start journalnode格式化第一个NameNodebin/hdfs namenode –format启动第一个的NameNodesbin/h...
分类：
其他好文 时间：
2015-06-10 21:00:37
阅读次数：
149
我们知道hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、namenode的单点故障的问题。针对这两个问题，hadoop2.x都对它进行改进和解决。其中，问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决。对于问题2中的.....
分类：
其他好文 时间：
2015-05-18 20:35:39
阅读次数：
119
1.使用ResourceManagerstring st = Properties.Resources.ResourceManager.GetString(tableName);value = Properties.Resources.ResourceManager.GetObject(fileNa...
大家都知道在hadoop2中对HDFS的改进很大，实现了NameNode的HA；也增加了ResourceManager。但是ResourceManager也可以实现HA。你没看错，确实是ResourceManager的HA。注意是在Apache Hadoop 2.4.1版本中开始加入的，可不是任意一...
分类：
其他好文 时间：
2015-04-23 12:37:39
阅读次数：
140
