Nimbus :负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 相应目录。
Supervisor :负责接受nimbus 分配的任务,启动和停止属于自己管理的worker 进程。
Worker :运行具体处理组件逻辑的进程。
Executor :运行spout/bolt 的线程
Task : worker 中每一个spout/bolt 的线程称为一个task.
Topology : storm 中运行的实时应用程序,消息在各个组件间流动形成逻辑上的拓扑结构。
Spout :在一个topo...
分类:
其他好文 时间:
2014-08-20 12:39:12
阅读次数:
171
在实际项目中,通常需要用到定时任务(定时作业),spring框架提供了很好的实现。
1、 下载spring-quartz插件包
这里默认当前系统中是集成了spring框架的基本功能的。去网上下载spring定时器的jar包,这里用的是quartz-all-1.8.4.jar,下载完成之后添加的项目的classPath中去。
2、编写定时任务执行模块的代码
spring使得定时任务编码十分...
分类:
编程语言 时间:
2014-08-20 12:38:32
阅读次数:
179
通过介绍Java中的重载,抽象类来实现方法的动态调用。
分类:
编程语言 时间:
2014-08-20 12:26:32
阅读次数:
252
LIVE555源码研究之四:MediaServer (一) 从本篇文章开始我们将从简单服务器程序作为突破点,深入研究LIVE555源码。 从前面的文章我们知道,任何一个基于LIVE555库实现的程序都需要实现自己的环境类和调度类。这里,服务器程序就使用了BasicEnvironment库中实现的简单环境类和简单调度类。说它简单,是因为该环境类仅仅实现了将错误信息输出到控制台。而调...
分类:
其他好文 时间:
2014-08-19 20:57:45
阅读次数:
261
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 任务调度篇...
分类:
其他好文 时间:
2014-08-19 16:41:25
阅读次数:
311
PriorityQuenue
优先队列就是作业调度类的ADT,这里用二叉堆来实现。
优先队列最少有两个操作:插入(Insert)和删除最小者(DeleteMin)。
插入操作图解:
图片来源:www.educity.cn
删除操作图解:
图片来源:www.cfanz.cn
代码实现:
//
// main.cpp
// binaryHeap
//...
分类:
其他好文 时间:
2014-08-19 12:59:04
阅读次数:
323
Quartz misfireThreshold超时临界值的意义与任务超时后的处理策略.在配置quartz.properties有这么一个属性就是misfireThreshold,用来指定调度引擎设置触发器超时的"临界值".
分类:
其他好文 时间:
2014-08-18 17:56:12
阅读次数:
279
一 Quarta介绍 1 Quartz是什么Quartz就是一个纯 Java 实现的作业调度工具,相当于数据库中的 Job、Windows 的计划任务、Unix/Linux 下的 Cron,但 Quartz 可以把排程控制的更精细.2 Quartz 框架的发展历程Quartz项目是由James Ho...
分类:
其他好文 时间:
2014-08-18 15:47:22
阅读次数:
127
使用场景
在使用maven来管理项目时,项目除了web项目,还有可能为控制台程序,一般用于开发一些后台服务的程序。最近在工作中也遇到了这种场景,使用quartz开发一个任务调度程序。程序中依赖很多jar包,项目的启动时只需要初始化spring容器即可。
使用方法
使用一个简单的基于spring框架的demo来做程序示例,来介绍maven assembly插件的使用方法。
项目中...
分类:
其他好文 时间:
2014-08-18 00:20:13
阅读次数:
336
概述了解Quartz体系结构Quartz对任务调度的领域问题进行了高度的抽象,提出了调度器、任务和触发器这3个核心的概念,并在org.quartz通过接口和类对重要的这些核心概念进行描述:●Job:是一个接口,只有一个方法void execute(JobExecutionContext contex...
分类:
其他好文 时间:
2014-08-17 15:31:22
阅读次数:
221