第一次接触Hadoop的时候，启动hadoop出现的节点是：NameNodeSecondaryNameNodeJobTrackerTaskTrackerDataNodeNameNode如今启动hadoop出现的节点是：SecondaryNameNodeNodeManagerResourceManag...
分类：
其他好文 时间：
2015-04-10 14:59:32
阅读次数：
144
Hadoop 新 MapReduce 框架 Yarn 详解：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/Apache Hadoop于2005年推出，提供了核心的MapReduce处理引擎来支持大规模数据工作负载的...
分类：
其他好文 时间：
2015-04-09 06:20:54
阅读次数：
205
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址：Resource..
分类：
其他好文 时间：
2015-04-07 19:59:25
阅读次数：
305
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和...
分类：
其他好文 时间：
2015-04-07 17:20:57
阅读次数：
175
1. Hadoop 2.0 中的资源管理http://dongxicheng.org/mapreduce-nextgen/hadoop-1-and-2-resource-manage/Hadoop 2.0指的是版本为Apache Hadoop 0.23.x、2.x或者CDH4系列的Hadoop，内核...
分类：
其他好文 时间：
2015-04-06 17:09:48
阅读次数：
194
Hadoop简介:
分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pi...
分类：
其他好文 时间：
2015-04-05 11:59:31
阅读次数：
234
Yarn资源调度器
1、Capacity scheduler
设计目的：以队列为单位划分资源，旨在让分布式集群资源被多用户共享，被多application共享，不同队列间可以动态迁移资源，避免资源被单个应用或单个用户独占，提高集群资源吞吐量和利用率。
核心思想：传统多个独立集群各占一组机器资源以备不时之需，拥有各自的管理开销，这通常导致比较差的资源利用率...
分类：
系统相关 时间：
2015-04-03 23:58:13
阅读次数：
419
Storm on YARN： Storm on YARN被视为大规模Web应用与传统企业应用之间的桥梁。它将Storm事件处理平台与YARN（Yet Another Resource Negotiator）应用管理框架进行了组合，为此前进行批处理的Hadoop应用提供了低延迟的处理能力。诞生背景（....
分类：
其他好文 时间：
2015-03-31 19:33:28
阅读次数：
190
#hadoop version 查看版本号1 、获取默认配置hadoop2系列配置文件一共包括6个，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves。除了hdfs-site.xml文件在...
分类：
其他好文 时间：
2015-03-31 17:28:40
阅读次数：
145
问题1：改写DistributedShell程序，使得每个container运行在不同节点上（目前是随机的，可能运行在任意节点上）。问题2：改写DistributedShell程序，使得某个用户指定的命令可以在集群的每个节点上仅执行一次。参考 http://tech.ddvip.com/2014-0...
分类：
其他好文 时间：
2015-03-30 18:05:06
阅读次数：
116
