假设workflow里有两个action节点，shell和hive，hive需要用到shell节点里的值，shell脚本如下 hive节点需传入day这个参数。需要用到shell节点里<capture-output/>这个属性，如下 <action name="shell-118a "> <shel ...
分类：
其他好文 时间：
2017-05-14 16:10:21
阅读次数：
308
1. 简介 coordinator是workflow的定时提交器，基于时间条件与数据生成触发（based on time and data triggers）。简单点说，coordinator按所定义的时间周期进行轮询，若数据生成条件满足，则触发workflow任务；否则，则等待数据生成或跳过（调度 ...
分类：
其他好文 时间：
2017-05-05 01:06:00
阅读次数：
262
本文原文出处: http://blog.csdn.net/bluishglc/article/details/46049817 Oozie工作流属性配置的三种方式 Oozie有三种方法可以给工作流提供属性属性配置： Oozie工作流属性配置的策略（最佳实践） 坦率地讲，三种配置相互重叠，全部使用会使 ...
分类：
其他好文 时间：
2017-05-05 00:55:34
阅读次数：
143
编译： 使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4 编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop ...
分类：
其他好文 时间：
2017-05-04 01:27:34
阅读次数：
334
1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job - ...
分类：
其他好文 时间：
2017-05-04 00:14:25
阅读次数：
475
当有一个复杂的工作流job，希望每天定时执行，使用crontab方式调用需要编写大量的脚本，还要通过大量的判断来控制每个工作流job的执行顺序问题。Oozie中的Coordinator可以让每个工作流workflow当做一个动作来运行，这样就可以将多个job组织起来，并制定触发时间和频率。它的调度方 ...
分类：
其他好文 时间：
2017-05-04 00:12:08
阅读次数：
287
19.png 19.png 20.png 20.png 21.png 21.png 22.png 22.png ...
分类：
系统相关 时间：
2017-05-04 00:07:33
阅读次数：
279
1. Hadoop常见调度框架： （1）Linux Crontab：Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个执行计划： 0 12 * hive -f xxx.sql（2）Azkaban：（3）Oozie：Cloudera公司开源（4）Zeus： ...
分类：
其他好文 时间：
2017-05-03 22:46:35
阅读次数：
348
一、前期准备 1.操作系统版本 # cat /etc/redhat-release CentOS release 6.5 (Final) # uname –aLinux enc-bigdata05 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UT ...
分类：
数据库 时间：
2017-04-18 18:29:00
阅读次数：
908
常见工作流调度系统 Oozie, Azkaban, Cascading, Hamake 各种调度工具特性对比 特性 Hamake Oozie Azkaban Cascading 工作流描述语言 XML XML (xPDL based) text file with key/value pairs J ...
分类：
其他好文 时间：
2017-03-17 11:07:38
阅读次数：
266
