标签:
Azkaban是twitter出的一个任务调度系统,操作比Oozie要简单很多而且非常直观,提供的功能比较简单。Azkaban以Flow为执行单元进行定时调度,Flow就是预定义好的由一个或多个可存在依赖关系的Job组成的工作流。Azkaban的官方主页是http://azkaban.github.io/azkaban2/ ,它的的主要特点有下面几个:
Azkaban也有一些局限性(尚待挖掘),例如任务之间的依赖,不能够指定部分完成(比如我们希望任务A依赖于B,但是并不是B完全执行完成A才可以启动,而是B的某个阶段完成的话就可以启动A)
Azkaban主要是解决Hadoop Job的依赖关系,它包括三个组件,组件之间的关系如下图所示
首先准备Azkaban相关软件,其中AzkabanWebServer和AzkabanExecutorServer要安装到不同目录,下载链接http://azkaban.github.io/azkaban2/downloads.html
Azkaban使用MYSQL管理工程、计划和执行
标签:
原文地址:http://www.cnblogs.com/whtydn/p/4353695.html