Yarn的JVM重用功能——uberhttp://blog.csdn.net/samhacker/article/details/15692003Hadoop：TheDefinitiveGuid总结Chapter6MapReduce的工作原理http://www.cnblogs.com/biyeymyhjob/archive/2012/08/11/2631750.html浅谈hadoop中mapreduce的文件分发http://blog.csdn.net/zgc..
分类：
其他好文 时间：
2014-11-19 02:09:20
阅读次数：
179
最近在读Hadoop#Yarn部分的源码，读到状态机那一部分的时候，感到enmu的用法实在是太灵活了，在给并发编程网翻译一篇文章的时候，正好碰到一篇这样的文章，就赶紧翻译下来，涨涨姿势。
原文链接：http://www.javacodegeeks.com/2011/07/java-secret-using-enum-to-build-state.html
作者：Peter Lawrey...
分类：
编程语言 时间：
2014-11-17 14:10:07
阅读次数：
301
采用的是4台真实机器：namenode：qzhong node27datanode：qzhong node27 node100 node101操作系统环境：qzhong（Ubuntu-14.0） node27、node100、node101（CentOS 64bits）HA配置方式：采用的是jour...
分类：
其他好文 时间：
2014-11-17 10:31:34
阅读次数：
321
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
在本教程中，您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。下列步骤描述：
?如何使用提供在Azure门户的HBase的集群。
?如何启用和使用RDP访问HBase的外壳，并使用HBase的外壳创建HBase的示例表，添加行，然后列出表中的行。
?如何创建一个Hive表映射到一个现有的HBase的表，使用HiveQL查询数据在HBase的表。
?如何使用Microsoft HBase的REST客...
分类：
其他好文 时间：
2014-11-13 16:43:25
阅读次数：
377
Hadoop2NameNodeHA配置Hadoop2官方提供了两种NameNodeHA的实现方式，分别基于QJM和NFS,这里以基于QJM的HDFSHA为例。实验环境系统版本：CentOSrelease6.4(Final)Hadoop版本：ApacheHadoop2.5.1Hive版本：Hive0.13.1IP列表IPHostnameNameNodeDataNodeRMNodeManagerJournalNode192..
分类：
其他好文 时间：
2014-11-08 02:16:48
阅读次数：
322
由于项目需求，需要通过Java程序提交Yarn的MapReduce的计算任务。与一般的通过Jar包提交MapReduce任务不同，通过程序提交MapReduce任务需要有点小变动，详见以下代码。
以下为MapReduce主程序，有几点需要提一下：
1、在程序中，我将文件读入格式设定为WholeFileInputFormat，即不对文件进行切分。
2、为了控制reduc...
分类：
编程语言 时间：
2014-11-06 23:40:42
阅读次数：
500
Apache Hadoop YARN： 背景及概述
分类：
Web程序 时间：
2014-11-05 22:42:15
阅读次数：
205
Hadoop 新 MapReduce 框架 Yarn 详解
分类：
其他好文 时间：
2014-11-05 22:39:25
阅读次数：
293
MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN.
The fundamental idea of MRv2 is to split up the two major functionalities of th...
分类：
其他好文 时间：
2014-11-04 00:15:00
阅读次数：
209
Spark版本：spark-1.1.0-bin-hadoop2.4 (下载：http://spark.apache.org/downloads.html)服务器环境的情况，请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类：
其他好文 时间：
2014-11-03 16:19:44
阅读次数：
288
