参考原文：http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool 运行文件有几个G大，默认的spark的内存设置就不行了，需要重新设置。还没有看Spark源码，只能先搜搜相关的博客解决问题 ...
分类：
其他好文 时间：
2016-12-17 20:11:34
阅读次数：
162
2016年12月14日21:37:29
Author：张明阳
博文链接：http://blog.csdn.net/a2011480169/article/details/53647012近来这几天...
分类：
其他好文 时间：
2016-12-15 21:18:22
阅读次数：
231
以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker 存在以下不足： 1）JobTracker 单点故障。 2）JobTracker 承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如 ...
分类：
其他好文 时间：
2016-12-13 06:16:34
阅读次数：
151
Map Reduce & YARN简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS)... ...
分类：
其他好文 时间：
2016-12-12 11:48:59
阅读次数：
202
1、加入配置文件到项目源码目录下（src） mapreduce.framework.name yarn 读取配置文件内容，使项目知道向集群提交运行 2、将本项目打包到项目源码目录下（src） 3、在Java代码加入下一句话Configuration conf = new Configuration(... ...
分类：
系统相关 时间：
2016-12-10 13:31:49
阅读次数：
195
一、问题现象某一个nodemanager退出后，导致applicationmaster中出现大量的如下日志，并且持续很长时间，applicationmaster才成功退出。2016-06-2409:32:35,596INFO[ContainerLauncher#3]org.apache.hadoop.ipc.Client:Retryingconnecttoserver:dchadoop206/192.168.1.199:3295..
分类：
移动开发 时间：
2016-12-09 19:49:49
阅读次数：
256
1.生成TSV文件 2.内容 3.上传到HDFS 4.运行 $HADOOP_HOME/bin/yarn jar lib/hbase-server-0.98.6-hadoop2.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:age,info: ...
分类：
其他好文 时间：
2016-12-09 19:22:37
阅读次数：
176
当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。 以下参数配置为例子： spark-submit --master yarn-cluster #使用集群调度模式(一般使用这个参数) --num-exec ...
分类：
其他好文 时间：
2016-12-09 08:38:44
阅读次数：
305
1、编译Slider，[root@plat1apache-slider-0.91.0-incubating]#pwd
/usr/local/src/apache-slider-0.91.0-incubating因采用CDH版本hadoop(2.6.0-cdh5.9.0),hbase(1.2.0-cdh5.9.0)，修改该目录下pom文件<hadoop.version>2.6.0-cdh5.9.0</hadoop.version>
<hbase...
分类：
其他好文 时间：
2016-12-06 00:08:32
阅读次数：
625
YARN（YetAnotherResourceNegotiator），它是统一的资源管理平台，是在Hadoop2.0中才出现的一个组件。YARN是Hadoop的处理层，包含资源管理器和作业调度器。它在它的资源管理器中去分配好队列，这个队列划分可以根据业务规则，根据技术的模块进行划分，比如同时拥有hive和hbase..
分类：
其他好文 时间：
2016-12-05 23:55:39
阅读次数：
357
