Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n...
分类：
其他好文 时间：
2014-12-01 12:48:27
阅读次数：
304
课程大纲：第1周Hadoop生态系统概述以及版本演化概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。第2周HDFS2.0原理、特性与基本架构介绍HDFS2.0原理与架构，并与HDFS1.0进行对比。介绍HDFS2.0新特性，包括快照、缓存、异构存储架构等第3周YARN应用场景、基..
分类：
其他好文 时间：
2014-11-30 00:59:15
阅读次数：
544
Hadoop家族系列文章， 主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra...
分类：
其他好文 时间：
2014-11-26 14:09:05
阅读次数：
352
Hadoop
Yarn的安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。
三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：
172.20.4.142 yarn-namenode
172.20.4.143 yarn-datanode1
172.20.4.147 yarn-d...
分类：
其他好文 时间：
2014-11-24 20:57:36
阅读次数：
298
协议ApplicationClientProtocol Hadoop-Yarn?源码阅读-Yarn? client与ResourceManager之间的协议，用来 提交、中止作业 获取应用信息、集群metrics信息、节点信息、队列信息和ACL信息 各接口说明：
...
分类：
移动开发 时间：
2014-11-21 10:56:02
阅读次数：
490
Yarn的JVM重用功能——uberhttp://blog.csdn.net/samhacker/article/details/15692003Hadoop：TheDefinitiveGuid总结Chapter6MapReduce的工作原理http://www.cnblogs.com/biyeymyhjob/archive/2012/08/11/2631750.html浅谈hadoop中mapreduce的文件分发http://blog.csdn.net/zgc..
分类：
其他好文 时间：
2014-11-19 02:09:20
阅读次数：
179
最近在读Hadoop#Yarn部分的源码，读到状态机那一部分的时候，感到enmu的用法实在是太灵活了，在给并发编程网翻译一篇文章的时候，正好碰到一篇这样的文章，就赶紧翻译下来，涨涨姿势。
原文链接：http://www.javacodegeeks.com/2011/07/java-secret-using-enum-to-build-state.html
作者：Peter Lawrey...
分类：
编程语言 时间：
2014-11-17 14:10:07
阅读次数：
301
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
在本教程中，您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。下列步骤描述：
?如何使用提供在Azure门户的HBase的集群。
?如何启用和使用RDP访问HBase的外壳，并使用HBase的外壳创建HBase的示例表，添加行，然后列出表中的行。
?如何创建一个Hive表映射到一个现有的HBase的表，使用HiveQL查询数据在HBase的表。
?如何使用Microsoft HBase的REST客...
分类：
其他好文 时间：
2014-11-13 16:43:25
阅读次数：
377
由于项目需求，需要通过Java程序提交Yarn的MapReduce的计算任务。与一般的通过Jar包提交MapReduce任务不同，通过程序提交MapReduce任务需要有点小变动，详见以下代码。
以下为MapReduce主程序，有几点需要提一下：
1、在程序中，我将文件读入格式设定为WholeFileInputFormat，即不对文件进行切分。
2、为了控制reduc...
分类：
编程语言 时间：
2014-11-06 23:40:42
阅读次数：
500
Apache Hadoop YARN： 背景及概述
分类：
Web程序 时间：
2014-11-05 22:42:15
阅读次数：
205
