问题：自己写了一个yarn上的application，发现nodemanager过段时间，会out of memory退出，把nodemanager的heap memory从1G增大到2G也是无法避免NM程序OOM开启NM的jmx监控-Dcom.sun.management.jmxremote -D...
分类：
其他好文 时间：
2015-08-25 15:41:14
阅读次数：
185
ConfigurationProviderFactory结构如下： /** * Creates an instance of {@link ConfigurationProvider} using given * configuration. * @param bootstrapConf * @re...
分类：
Web程序 时间：
2015-08-20 18:30:42
阅读次数：
203
Hadoop命令系列文章共5篇，链接地址如下：
Hadoop之文件系统Shell
Hadoop之命令指南
Hadoop之HDFS命令
Hadoop之MapReduce命令
Hadoop之YARN命令
希望对大家能有所帮助，不正确的地方希望留言讨论。...
分类：
其他好文 时间：
2015-08-20 01:31:22
阅读次数：
163
Hadoop? YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。yarn对于自己运行时作业的资源分配模式有Cap...
分类：
其他好文 时间：
2015-08-19 21:24:59
阅读次数：
285
和yarn-cluster模式一样，整个程序也是通过spark-submit脚本提交的。但是yarn-client作业程序的运行不需要通过Client类来封装启动，而是直接通过反射机制调用作业的main函数。下面就来分析： 1、通过Spa...
分类：
其他好文 时间：
2015-08-19 17:54:06
阅读次数：
416
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。...
分类：
其他好文 时间：
2015-08-19 09:29:03
阅读次数：
241
hadoop mr 或者 spark 操作 hbase时候就出现这个错误
这是hbase的bug,可在jira上看到该问题:https://issues.apache.org/jira/browse/HBASE-10304报错信息:15/08/17 19:28:33 ERROR yarn.ApplicationMaster: User class threw exception: org.apa...
分类：
数据库 时间：
2015-08-18 14:17:11
阅读次数：
530
一，本地模式（LocalJobRunner实现）
mapreduce.framework.name设置为local，则不会使用YARN集群来分配资源，在本地节点执行。在本地模式运行的任务，无法发挥集群的优势。注：在web UI是查看不到本地模式运行的任务。
二，Yarn模式（YARNRunner实现）
mapreduce.framework.name设置为yarn，当客户端配置mapreduce.framework.name为yarn时, 客户端会使用YARNRunner与服务端通信, 而YARNRu...
分类：
其他好文 时间：
2015-08-16 15:17:02
阅读次数：
186
Hadoop检查nm是否存活，bin/yarn node list删除目录，hadoop dfs -rm -r /directoryhadoop classpath 可以查看所有的类的路径Hadoop离开安全模式的方法：hadoop dfsadmin -safemode leavewordcount...
分类：
其他好文 时间：
2015-08-15 16:08:38
阅读次数：
224
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 ...
分类：
其他好文 时间：
2015-08-15 11:54:01
阅读次数：
142
