以下为我的操作记录，还未整理格式
hqvm-L118 192.168.1.118 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
hqvm-L138 192.168.1.138 jdk、hadoop、zookeeper NameN...
分类：
其他好文 时间：
2015-04-22 18:25:14
阅读次数：
138
ResourceManager： 存在单点故障，ResourceManager有备份节点，当主节点出现故障，将切换到从节点继续工作。NodeManager ： 失败之后，ResourceManager将失败任务告诉对应的ApplicationMaster， ApplicationMast...
分类：
其他好文 时间：
2015-04-11 11:40:54
阅读次数：
146
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址：Resource..
分类：
其他好文 时间：
2015-04-07 19:59:25
阅读次数：
305
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和...
分类：
其他好文 时间：
2015-04-07 17:20:57
阅读次数：
175
系统：ubuntu 14.04
HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后，用JPS检查能看到一下六个进程：14779 DataNode
15322 NodeManager
14657 NameNode
15194 ResourceManager
17656 Jps
14979 SecondaryNameNode接下来我们需要运行Word...
分类：
编程语言 时间：
2015-03-29 13:42:54
阅读次数：
217
1.使用ResourceManagerstring st = Properties.Resources.ResourceManager.GetString(tableName);value = Properties.Resources.ResourceManager.GetObject(fileNa...
介绍Hadoop安装好后，有人会想做一个mapreduce的job跑一跑，mapreduce其实是两个功能，一个是mapper，一个是reducer，废话不多说，现在开始。正文1环境1.1部署hadoop单机版即可，namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类：
其他好文 时间：
2015-01-30 17:52:32
阅读次数：
313
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager，在集群中属于首脑地位，负责分发任务，监控集群状态，与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作，以保证集群稳定运行：
1、清理无效topology
2、建立zk连接并创建相应znode
3、启动监控线程
4、启动httpserver...
分类：
Web程序 时间：
2015-01-13 15:58:30
阅读次数：
403
最近线上的rmcrash了一次，查看日志，发现有如下报错：2015-01-0518:00:11,523ERRORorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler:RequestforappInfoofunknownattemptappattempt_1418702129929_2281200_000001
2015-01-0518:00:11,524ERRORorg...
分类：
其他好文 时间：
2015-01-12 06:54:36
阅读次数：
346
1. hadoop集群：1.1 系统及硬件配置： hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核； node101: NodeManager、 NameNode、ResourceManager、DataNode； ...
分类：
编程语言 时间：
2015-01-11 06:15:09
阅读次数：
307
