关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何一个资料都不能很好的理解透彻。于是，最近查了大量的资料，综合各种解释，终于理解到了一个比较清晰的程度，在这里将理解的东西做一个简单的记录，以备忘却。首先，先将关于mapreduce和yarn关于内存分配的参数粘 ...
分类：
其他好文 时间：
2017-01-12 08:16:50
阅读次数：
319
yarn中一个基本的调度单元是队列。 yarn的内置调度器： 1.FIFO先进先出，一个的简单调度器，适合低负载集群。2.Capacity调度器，给不同队列（即用户或用户组）分配一个预期最小容量，在每个队列内部用层次化的FIFO来调度多个应用程序。3.Fair公平调度器，针对不同的应用（也可以为用户 ...
分类：
其他好文 时间：
2017-01-12 02:51:46
阅读次数：
358
在hive里建一个数据库test，在数据库里建了一张表user，然后在Spark程序中使用Spark sql读取这张表 "select * form test.user" 当部署模式是spark stand模式和yarn-client模式时，程序可以正常运行，但yarn-cluster模式就报了找不 ...
分类：
数据库 时间：
2017-01-11 22:12:37
阅读次数：
1098
本篇博客参考：http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 软件版本：CDH：5.7...
分类：
其他好文 时间：
2017-01-11 08:20:23
阅读次数：
466
facebook 公司的工程师感觉Node使用起来太慢，自己写的一个类似node的 安装： npm install -g yarn 基本使用： yarn init [-y] 初始化 yarn add +包名 安装包 yarn global add+包名 全局安装包 yarn remove +包名 删 ...
分类：
其他好文 时间：
2017-01-09 18:15:40
阅读次数：
212
最近一周几乎都在做关于yarn的资源隔离的事情，也重新看了一下以前看过的关于yarn的书，这次就当是写写自己的工作总结吧。之所以要做资源隔离，是因为现在公司内部有很多团队都在使用yarn来提交各式各样的任务，例如hive的mapreduce，spark在yarn上的部署，sqoop导数据等等，为..
分类：
其他好文 时间：
2017-01-09 00:52:37
阅读次数：
1902
因为工作需要，要搭建一个虚拟机，做一个伪分布式的开发环境。搭建很顺利，测试环境不用考虑太多，启动hdfs，搞定！启动yarn，搞定。运行一个examples看看，结果作业一直卡在accepted状态，一直没有真正运行，而且从日志上看，也没有任何的报错信息。这个问题困惑了两天，搜索..
分类：
其他好文 时间：
2017-01-07 21:27:38
阅读次数：
522
spark yarn的配置，主要是对yarn的日志的处理，其他参数请参考hadoop官网参数 地址：http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-common/yarn-default.xml ...
分类：
其他好文 时间：
2017-01-05 18:03:46
阅读次数：
221
公司基础架构这边想提取慢作业和获悉资源浪费的情况，所以装个drelephant看看。LinkIn开源的系统，可以对基于yarn的mr和spark作业进行性能分析和调优建议。DRE大部分基于java开发，spark监控部分使用scala开发，使用play堆栈式框架。这是一个类似Python里面Django的框架，基于j..
分类：
其他好文 时间：
2017-01-04 23:43:19
阅读次数：
382
转自【翻译】NeHe OpenGL 教程 前言 声明，此 NeHe OpenGL教程系列文章由51博客yarin翻译（2010-08-19），本博客为转载并稍加整理与修改。对NeHe的OpenGL管线教程的编写，以及yarn的翻译整理表示感谢。 NeHe OpenGL第三十八课：资源文件 从资源文件 ...
分类：
其他好文 时间：
2016-12-31 18:13:16
阅读次数：
250
