码迷,mamicode.com
首页 >  
搜索关键字:Yarn    ( 2001个结果
ResourceManager High Availability
Apache 官方原文地址:http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 一 简介二 架构 1 RM 切换 11 手工故障切换22 自动故障切换23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManage...
分类:其他好文   时间:2016-03-26 07:36:06    阅读次数:281
hadoop2安装脚本
#!/bin/bash##InstallHadoop2usingpdsh/pdcpwherepossible.##Commandcanbeinteractiveorfile-based.Thisscriptsetsup#aHadoop2clusterwithbasicconfiguration.Modifydata,log,andpid#directoriesasdesired.Furtherconfigureyourclusterwith./conf-hadoop2.sh###Basicenvironmen..
分类:其他好文   时间:2016-03-23 06:36:28    阅读次数:152
hadoop2.x 异常
运行mr,出现如下异常 需要配置yarn-site.xml中配置如下信息 参考地址: https://issues.apache.org/jira/browse/MAPREDUCE-2983 https://issues.apache.org/jira/browse/BIGTOP-764
分类:其他好文   时间:2016-03-22 10:36:11    阅读次数:173
hadoop2.x配置
hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考: http://www.cnblogs.com/liuxinan/p/52
分类:其他好文   时间:2016-03-21 18:18:07    阅读次数:203
Hadoop生态系统
Hadoop1.0最新稳定版本1.2.1 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce Hadoop2.0稳定版本2.2.0 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce 4.YARN H
分类:其他好文   时间:2016-03-20 21:17:58    阅读次数:224
Hadoop学习路线图
Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flu
分类:其他好文   时间:2016-03-20 21:14:09    阅读次数:253
第54课:Hive集群安装和测试
一、Hive集群安装1,安装好Hadoop,并启动HDFS和YARN。2,下载hive1.2.1http://apache.fayea.com/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz上传文件至集群中3.安装Hiveroot@spark-master:~#ls apache-hive-1.2.1-bin.tar.gzcorelinks-anon.txtaaa公共的模板视频图片文档下..
分类:其他好文   时间:2016-03-15 00:54:30    阅读次数:527
大数据技能图谱
下面是 StuQ 发布的大数据技能图谱,比较实用,供参考   大数据处理框架 Spark - RDD - Spark SQL - Spark Streaming - MLLibHadoop - HDFS (分布式文件系统) - Mapreduce(计算框架) - Yarn(资源管理平台) - Pig
分类:其他好文   时间:2016-03-14 09:28:47    阅读次数:173
Migrating from MapReduce 1 (MRv1) to MapReduce 2 (MRv2, YARN)...
This is a guide to migrating from Apache MapReduce 1 (MRv1) to the Next Generation MapReduce (MRv2 or YARN). See the following sections for more infor
分类:其他好文   时间:2016-03-12 10:29:27    阅读次数:268
YARN调度
理想的世界,一个YARN应用请求将会立刻得到授予。而现实世界,资源是受限制的,在一个忙碌的集群中,一个应用经常需要等待他请求的资源。YARN调度负责这个事情,分配资源给应用通过一些方式定义。调度是一个困难的问题也没有所谓最好的方法。 YARN有三种调度,FIFO,Capacity,Fair Sche
分类:其他好文   时间:2016-03-04 16:06:42    阅读次数:124
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!