前言:
在数据库运行维护过程中经常会需要在系统之间进行文件传输,对数据进行抽取、转换、整合等操作。并且在数据整合之后进行统计调度,这里将会对本人开发的一个ETL调度进行详细的说明。
需求概述:
调度分为如下方式:
ü 一个是SHELL编写的ETL调度,支持小时、日、周、月文件的调度。
ü 一个是流程调度,主要是根据配置表调用指定过程,并发执行。
进程描述:
文...
分类:
其他好文 时间:
2014-08-13 01:21:55
阅读次数:
315
根据需求我们需要创建部分所需的配置表,各表说明如下:
1、文件FTP主机配置表:SHELL_HOST_CFG
COLUMN_NAME
DATA_TYPE
COMMENTS
LATN_ID
NUMBER
HOST_ID
NUMBER
主机ID
HOST_NAM...
分类:
其他好文 时间:
2014-08-13 01:20:15
阅读次数:
284
今天用调度平台去调用bean中的方法时,提示找不到bean。经查,发现是由于如果在标注上没有提供name属性值,则默认的bean名称是小写开头的,而不是大写开头的。下面是其他文档参阅:使用过滤器自定义扫描spring开发手册中这样写:3.12.4.自动检测组件的命名当一个组件在某个扫描过程中被自动检...
分类:
编程语言 时间:
2014-08-13 00:27:24
阅读次数:
381
cpu子系统用于控制cgroup中所有进程可以使用的cpu时间片,通过组调度(将task_group作为调度实体)来实现。
参考博客:
1.cpu子系统
2.Linux内核之CFS调度和组调度...
分类:
其他好文 时间:
2014-08-12 22:16:54
阅读次数:
242
进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。
线程是进程的一个实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。
进程和线程的关系:
(1)一个线程只能属于一个进程,而一个进程可以有多个线程,但至少有一个线程。
(2)资源分配给进程,同一进程的所有线程共享该进程的所有资源。
(3)处理机分给线程...
分类:
编程语言 时间:
2014-08-12 09:04:03
阅读次数:
213
1、实现多线程方法:其实就是多个线程同时调用io_service::run for (int i = 0; i != m_nThreads; ++i) { boost::shared_ptr pTh(new boost::thread( boost::bind(&...
分类:
编程语言 时间:
2014-08-12 00:34:33
阅读次数:
1592
进程调度所使用到的数据结构:1.就绪队列内核为每一个cpu创建一个进程就绪队列,该队列上的进程均由该cpu执行,代码如下(kernel/sched/core.c)。1 DEFINE_PER_CPU_SHARED_ALIGNED(struct rq, runqueues);定义了一个struct rq...
分类:
系统相关 时间:
2014-08-12 00:23:03
阅读次数:
468
1,项目的具体需求 银行业务调度系统 模拟实现银行业务调度系统逻辑,具体需求如下: 银行内有6个业务窗口,1 - 4号窗口为普通窗口,5号窗口为快速窗口,6号窗口为VIP窗口。 有三种对应类型的客户:VIP客户,普通客户,快速客户(办理如交水电费、电话费之类业务的客户)。 异步随机生成各种类型的客户...
分类:
其他好文 时间:
2014-08-11 21:12:22
阅读次数:
274
曾经框架使用quartz框架运行定时调度问题、老大说这配置太麻烦、每一个调度都须要多加在spring的配置中、能不能降低配置的量从而提高开发效率、近期看了看spring的 scheduled的使用注解的方式进行调度、感觉非常方便、起码配置的东西少了非常多、所以留下来以备忘了、首先要配置我们的spri...
分类:
编程语言 时间:
2014-08-11 21:02:02
阅读次数:
232
一 Linux内核的三种调度策略:1,SCHED_OTHER分时调度策略,2,SCHED_FIFO实时调度策略,先到先服务。一旦占用cpu则一直运行。一直运行直到有更高优先级任务到达或自己放弃3,SCHED_RR实时调度策略,时间片轮转。当进程的时间片用完,系统将重新分配时间片,并置于就绪队列尾。放...
分类:
系统相关 时间:
2014-08-11 17:15:22
阅读次数:
256