Apache Oozie

标签：png   tar   dag   应用   动作   nbsp   servlet   界面   mapreduce   

1. Apache Oozie

　　Oozie是一个工作流调度系统。Oozie是运行于Java Servlet容器上的一个java web应用。Oozie是按照有向无权图（DAG）调度方式，使用xml文件配置工作流。最初是由Cloudear公司开发，后来贡献给Apache

　　a. apache Oozie架构

• oozie的webapp：oozie的server

　　提供一个UI界面，接收客户点的提交的任务，提交给hadoop几圈，启动一个只有一个map没有reduce的mapreduce任务来调度工作的任务具体的执行，交给服务项。

b. 基本原理

采用xml配置工作流

1. xml：workflow.xml 配置工作流的具体执行（有向无环图实现到配置文件）。
2. job.properties：工作流的通用配置文件，执行参数信息。

将节点分为两类：

1. 控制节点：描述工作流的走向 start end fork join kill
2. 动作节点：具体执行任务的节点 包括不局限于：mr，java，hive，shell，spark等。

c. 工作流的类型

1. workFlow：顺序执行流程节点，普通的工作流的调度，不涉及定时，不涉及批处理的工作流。
2. coordinator：支持定时循环的调度任务
3. bundle：即支持定时又支持批处理。

Apache Oozie

标签：png   tar   dag   应用   动作   nbsp   servlet   界面   mapreduce   

原文地址：https://www.cnblogs.com/qidi/p/11646003.html