问题1：改写DistributedShell程序，使得每个container运行在不同节点上（目前是随机的，可能运行在任意节点上）。问题2：改写DistributedShell程序，使得某个用户指定的命令可以在集群的每个节点上仅执行一次。参考 http://tech.ddvip.com/2014-0...
分类：
其他好文 时间：
2015-03-30 18:05:06
阅读次数：
116
一概述 应用程序是用户编写的处理数据的统称，它从YARN中申请资源完毕自己的计算任务。YARN自身相应用程序类型没有不论什么限制，它能够是处理短类型任务的MapReduce作业，也能够是部署长时间执行的服务的应用程序。应用程序能够向YARN申请资源完毕各类计算任务。 在YARN上开发一个应用程...
分类：
其他好文 时间：
2015-03-30 16:13:16
阅读次数：
141
系统：ubuntu 14.04
HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后，用JPS检查能看到一下六个进程：14779 DataNode
15322 NodeManager
14657 NameNode
15194 ResourceManager
17656 Jps
14979 SecondaryNameNode接下来我们需要运行Word...
分类：
编程语言 时间：
2015-03-29 13:42:54
阅读次数：
217
一、Hadoop1.0到2.0的架构变化1、Hadoop2.0由HDFS、MapReduce和YARN三个分支构成2、HDFSNNFederation、HA3、MapReduce运行在YARN上的MR4、YARN资源管理系统二、HDFS2.01、解决HDFS1.0中单点故障和内存受限问题。2、解决单点故障HDFSHA通过主备NameNode解决如果主NameNode发生故..
分类：
其他好文 时间：
2015-03-21 21:29:17
阅读次数：
356
在YARN中，资源调度器（ResourceScheduler）是一个非常核心的部件，它负责将各个节点上的资源封装成container，并按照一定的约束条件（按队列分配，每个队列有一定的资源分配上限等）分配给各个application。 （注...
分类：
其他好文 时间：
2015-03-21 18:46:51
阅读次数：
185
YARN/MRv2是下一代MapReduce框架（见Hadoop-0.23.0），该框架完全不同于当前的MapReduce框架，它在扩展性，容错性和通用性等方面更出色，据统计，Yarn有超过150000行代码，完全是重写编写的。本文介绍了YARN/MRv2中基本术语的含义，帮助有兴趣的程序员们对YA...
分类：
其他好文 时间：
2015-03-20 18:18:04
阅读次数：
209
1.操作系统编译环境
yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst
2.安装JDK
下载JDK1.7，注意只能用1.7，否则编译会出错
http://www.oracle.com/tech...
分类：
其他好文 时间：
2015-03-19 22:02:18
阅读次数：
246
我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。创建maven项目创建一个maven项目，什么类型的项目随便引入hadoop配置文件copy hadoop的配置文件到src/main/resources文件中，只考有用的就行，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml等。设置环境变量hadoop的配置文件夹中的配置...
分类：
系统相关 时间：
2015-03-19 18:23:53
阅读次数：
200
注：本文中提到的ochadoop 不要感到奇怪，是亚信公司内部自己合成的一个包，把所有的组件都放在一个包内了，免去了组件的下载过程和解决兼容问题，其实也可以自己下载的，不要受到影响。
另，转载请注明出处，谢谢
修改静态IP和hostname
在 /etc/sysconfig/network-scripts/ifcfg-eth0
配置IPADDR
地址
运行以下命...
分类：
其他好文 时间：
2015-03-15 09:27:51
阅读次数：
310
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
其他好文 时间：
2015-03-13 12:28:34
阅读次数：
218
