标签：领导   图片   比较   flow   必须   mode   span   enc   rac   

常见调度框架实现方式

Ps：

• Quartz有两种部署方式：单机以及分布式（现在还支持新的TerracottaJobStore），单机由于使用的RAMJobStore，重启之后没办法自动恢复之前中断的任务，所以基于单机的封装主要是两个点，一个是scheduler分布式控制，一个是scheduler重启后的任务自动恢复，这两点在分布式中已经实现，所以基于单机的封装看起来没有必要；
• azkaban和zeus都是自己提供执行节点（azkaban中是executor server，zeus是worker）来执行任务，并且都是通过启动本地进程执行任务，这样会有两个问题：
  • 调度节点scheduler需要维护可用执行节点executor列表（zeus使用长连接，做的更好一些），并且在执行节点executor异常时恢复任务，并且很容易由于状态同步不及时造成一些问题，这是一个比较庞大的开销，oozie完全不需要这些；
  • 启动本地进程执行任务，虽然可以灵活控制任务进程的资源，但是有任务同时重复执行的风险，除非任务本身通过zk来保证不同时重复执行；

• zeus相比azkaban，有一点做的不好，是all-in-one，即主从部署在一起，有两个问题，一个是资源浪费，一个是主从相互影响；

调度相关术语

大数据基础之调度框架

标签：领导   图片   比较   flow   必须   mode   span   enc   rac   

原文地址：https://www.cnblogs.com/barneywill/p/10109820.html