关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构：NameNode-HA工作原理：在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在...
分类：
其他好文 时间：
2015-11-11 20:40:35
阅读次数：
298
本文不会搞什么Yarn混搭Spark，只想建立一个纯粹的Spark环境，太多层东西搅和在一起，不靠谱。创建spark服务运行帐号# useradd smilesmile帐号就是spark服务的运行帐号。下载安装包在root帐号下，下载最新安装包，注意不是source，而是bin安装包，支持hadoop2.6以后的wget http://mirrors.cnnic.cn/apache/spark/s...
分类：
其他好文 时间：
2015-11-11 16:48:52
阅读次数：
787
版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:[plain]view plaincopyA,10A,11A,12A,13B,21B,31B,41B,51data2:[pla...
分类：
其他好文 时间：
2015-11-01 21:05:05
阅读次数：
226
在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下：配置文件无非就...
分类：
其他好文 时间：
2015-10-31 12:58:44
阅读次数：
211
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以选...
分类：
其他好文 时间：
2015-10-30 12:43:59
阅读次数：
22067
仿照《hadoop技术内幕：深入解析MapReduce架构设计与实现原理》中的原图，我用手绘制了一份类似的图-_-4大部分：HDFS，Client，JobTracker，TaskTrackerYARN的思想在于，将资源调度和作业控制分开，从而降低单个节点（JobTracker的负担）。Applica...
分类：
其他好文 时间：
2015-10-17 14:54:29
阅读次数：
221
转自：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/，非常感谢分享！ 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再.....
分类：
其他好文 时间：
2015-10-15 14:20:11
阅读次数：
218
构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理，是个人的学习总结，以纪念在各个步骤中遇到的麻烦、踩过的坑！ 这篇笔记包含这样几个内容：
配置伪分布式环境
运行一个简单的作业
可能遇到的问题及解决办法
配置伪分布式环境 本文中的内容基于Hadoop2，即MapReduce作业运行在Yarn平台之上。
打通SSH，实现无密码登陆
由于Hadoop控制脚本需...
分类：
其他好文 时间：
2015-10-13 19:18:26
阅读次数：
230
同事最近对MR on Yarn中Map数量的一个小的研究，描述如下： ????在新版MapReduce 中即 MR on yarn中，不支持设置Map数量。 ????Map的数量是由MinInputSplitSize决定的，公式： ????Map的数量 = Tota...
分类：
其他好文 时间：
2015-10-12 17:35:04
阅读次数：
233
1，环境情况安装的CDH5.4，使用CM来管理各个组件（Yarn、Spark、HDFS、Hive、Oozie……）。2，在shell命令下提交Oozie作业①sudo –u hdfs hadoop fs –mkdir /user/cdhfive 创建一个专门的用户目录，这里为cdhfive②sudo...
分类：
其他好文 时间：
2015-10-10 17:17:45
阅读次数：
2980
