如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
关于Oozie的input-events和done-flag
工作流的执行条件
当coordinator指定的一个workflow已经进入执行时间窗口时，oozie会首先检查所有的input-events是否都已“发生”（满足），检查主要是分两个方面：
指定的文件或文件夹是否已经存在？
如果指定了done-flag, 检查done-flag文件是否存在
当切仅当所有的input-e...
分类：
其他好文 时间：
2015-06-16 11:06:04
阅读次数：
204
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群，包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等（具体的组件请参...
分类：
其他好文 时间：
2015-06-01 18:15:16
阅读次数：
201
说说Oozie一些糟糕的地方吧，确实需要吐槽一下，作为开发者，因为使用的工具存在这样或那样的缺陷而导致话费大量时间去查找问题的根源是很不开心的一件事情，整体上，Oozie的完备性、文档的准确性以及很多细节的地方都需要改进和提高。
Oozie原生的工作流文件和Hue的Oozie Editor生成的工作流文件的不兼容问题
这是一个很糟糕的问题，问题主要来自于Hue的Oozie Editor，显然它...
分类：
其他好文 时间：
2015-06-01 08:20:54
阅读次数：
189
Oozie工作流属性配置的三种方式
Oozie有三种方法可以给工作流提供属性属性配置：
App部署文件夹根目录下的：config-default.xml
作业属性文件:job.properties
在命令行中指定属性:-Dkey=value
Oozie工作流属性配置的策略（最佳实践）
坦率地讲，三种配置相互重叠，全部使用会使属性的配置过于分散，使得查找和定位属性变得繁琐。就我个人的...
分类：
其他好文 时间：
2015-05-29 08:40:07
阅读次数：
126
很多时候，我们需要在HIVE中引入第三方jar包或者是自己编写的“UDF”jar包。在HIVE中，涉及指定外部jar包的配置有两个地方：
hive-site.xml中的配置项“hive.aux.jars.path”
环境变量：HIVE_AUX_JARS_PATH
从目前的实验可以确定的有两点:
hive.aux.jars.path配置项对于hive server有效，但是是不会作用到hive sh...
分类：
编程语言 时间：
2015-05-26 12:47:53
阅读次数：
222
如果你想让你手写的workflow.xml成功的倒入到Hue的Oozie Designer里，你需要注意如下几点：
关于chema的版本：oozie最高只能是0.4，hive-action最高只能是0.2, istcp-action最高只能是0.1！！
对于jobTracker和nameNode属性，hue的oozie designer生成的workflow.xml文件是hard code使用的!!...
分类：
其他好文 时间：
2015-05-21 10:51:17
阅读次数：
152
（1）Apache Oozie是什么？? Oozie在英语中的释义指的是：驯象人，驭象者（多指缅甸那边的俗称），这个比喻相对与它的功能来说，还是很恰当的。? Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，是基于...
分类：
Web程序 时间：
2015-05-19 17:00:43
阅读次数：
217
（1）Apache Oozie是什么？
Oozie在英语中的释义指的是：驯象人，驭象者（多指缅甸那边的俗称），这个比喻相对与它的功能来说，还是很恰当的。
Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，是基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有Java MapReduce，Streaming map-reduce...
分类：
Web程序 时间：
2015-05-19 16:39:04
阅读次数：
140
问题描述在当前版本的HUE(2.6.1-2)里，oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和${nameNode}的值，尽管我尝试了所有可以尝试的地方，但是当通过hue去submit(不是通过oozie的命令行）一个workflow时，${jobTracker}和${nameNode}的值都被无情的重置了！如果这两个属性的值刚好是...
分类：
其他好文 时间：
2015-05-19 13:04:49
阅读次数：
193
