这篇文章是我来Hulu这一年做的主要工作，结合当下流行的两个开源方案Docker和YARN，提供了一套灵活的编程模型，目前支持DAG编程模型，将会支持长服务编程模型。基于Voidbox，开发者可以很容易的写出一个分布式的框架，Docker作为运行的执行引擎，YARN作为集群资源的管理系统。同时这篇文...
分类：
其他好文 时间：
2015-08-15 01:29:12
阅读次数：
182
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的...
分类：
数据库 时间：
2015-08-12 18:40:43
阅读次数：
9623
bin/hadoopbin/hdfssbin/start-all.shsbin/start-dfs.shsbin/start-yarn.shsbin/hadoop-daemon.shsbin/hadoop-daemons.sh
分类：
系统相关 时间：
2015-08-12 14:53:27
阅读次数：
143
概述
YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。
使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
YARN有一个选项解析框架，采用解析泛型选项以及运行类。
命...
分类：
其他好文 时间：
2015-08-11 10:05:13
阅读次数：
287
情况描述其实这个问题已经困扰我很久了，最近在公司Linux上搭建hadoop 和 spark环境的时候，我就遇到 spark提交作业到yarn 集群就报错这个错，当时已经安装snappy环境了，任何关于snappy静态库都编译了，这是我提交到spark mail list上的http://apache-spark-user-list.1001560.n3.nabble.com/java-lang-U...
分类：
移动开发 时间：
2015-08-08 21:27:50
阅读次数：
383
课程：云计算：OpenStack | 虚拟化 | 云平台 | Office 365 | 云服务 | Docker | 其他大数据：Spark | Hadoop | Storm | Hive | Yarn | 其他移动开发：Swift | 微信开发 | iOS | Android | HTML5 | ...
分类：
其他好文 时间：
2015-08-07 07:00:12
阅读次数：
128
Spark集群处理能力不足需要扩容，如何在现有spark集群中新增新节点？本文以一个实例介绍如何给Spark集群新增一个节点。1. 集群环境现有Spark集群包括3台机器，用户名都是cdahdp，主目录/home/ap/cdahdp，配置是2C8G虚拟机，集群基于yarn架构。 Master：128...
分类：
其他好文 时间：
2015-08-02 15:01:27
阅读次数：
142
使用MapReduce编写的中文分词程序出现了 Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 这样的问题如图：
上网查了好多资料，才明白这是hadoop本身的问题，具体参考：
https://issues.apache.org/jira/browse/YARN-1298
...
分类：
Web程序 时间：
2015-08-01 12:59:50
阅读次数：
339
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 ...
分类：
其他好文 时间：
2015-07-31 18:02:16
阅读次数：
154
