以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档，貌似hadoop2.2.0不支持YARN HA，如...
分类：
其他好文 时间：
2014-12-10 17:56:41
阅读次数：
256
spark在很多时候由于配置的原因造成缺少jar包的情况，本文介绍了两种缺少jar包情况，并介绍了如何使用spark-submit的--jars和--driver-class-path参数将jar包动态调用。...
分类：
编程语言 时间：
2014-12-09 17:54:48
阅读次数：
318
简介本向导简述了YARN资源管理器的HA，并详述了如何配置并使用该特性。RM负责追踪集群中的资源，并调度应用程序（如MapReduce作业）。Hadoop2.4以前，RM是YARN集群中的单点故障。HA特性以Active/Standby RM对的形式对集群添加了冗余，从而消除了这种单点故障。架构RM...
分类：
Web程序 时间：
2014-12-08 13:45:06
阅读次数：
323
发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
我很高兴地宣布，在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！
特别是，我们很高兴在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级，将升级您的集群软件，然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心，Hado...
分类：
Web程序 时间：
2014-12-08 12:28:20
阅读次数：
224
最近线上的的nm有crash的问题，查看错误日志：2014-06-1900:01:22,308FATAL
org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService:Error:Shuttingdownjava.util.
ConcurrentModificationException
atjava.util.LinkedList$ListI..
分类：
其他好文 时间：
2014-12-07 15:09:11
阅读次数：
251
本文介绍了ResourceManager的HA特性，并详细描述了如何配置RM的HA及自动故障转移...
分类：
其他好文 时间：
2014-12-04 18:04:28
阅读次数：
243
HadoopCDH5.0.1分布式系统，包括NameNode，ResourceMangerHA，忽略了WebApplicationProxy和JobHistoryServer。一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本..
分类：
其他好文 时间：
2014-12-03 07:09:21
阅读次数：
213
基于Spark On Yarn的淘宝数据挖掘平台：http://www.doc88.com/p-7804379529208.htmlSpark之MLLib机器学习库：http://blog.csdn.net/johnny_lee/article/details/25656343Spark之ALS（推...
分类：
其他好文 时间：
2014-12-02 23:49:03
阅读次数：
230
在yarn中对yarn.nodemanager.local-dirs的状态更新操作，定义在LocalDirsHandlerService（org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService）相关类中，在nm启动时，会启动一个LocalDirsHandlerService服务，循环检测yarn.nodemanager.local-dirs和yarn.nod..
分类：
其他好文 时间：
2014-12-02 00:15:42
阅读次数：
296
在nm启动container的过程中，有一个步骤是把当前的tokens写入本地目录，默认情况下具体的调用的方法是在DefaultContainerExecutor类的startLocalizer方法中：publicsynchronizedvoidstartLocalizer(PathnmPrivateContainerTokensPath,
InetSocketAddressnmAddr,Stringuser,Stri..
分类：
其他好文 时间：
2014-12-02 00:14:57
阅读次数：
290
