标签：div 写入 evel 监控工具 配置 发送邮件 ttl smtp href
kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具。
一、集群自带的监控
kettle自带的集群监控工具可以监控转换的执行情况。
进入后，点击show status：
点击转换名称可以看到转换的详情：
该方式有三个缺点：
(1)无法监控job的执行情况。
(2)另外，如果一个转换不使用集群执行，也不会被监控。
(3)该监控的获取的数据来取内存，在关闭carte服务器后，数据消失，之前的监控信息丢失
综合以上信息，该监控并不能满足ETL需求，需要手动做监控程序。
二、自己开发kettle监控程序。
自己开发监控程序，原理是在转换和任务中设置log，执行情况会记录在日志中，通过读取日志情况判断执行情况。
2.1.在转换和任务中设置日志
转换：
一共有5种日志
a.转换日志
显示转换名称、开始时间、结束时间、执行状态等
b.步骤日志
显示步骤相关情况(集群下不写入该表)
c.运行日志
在默认日志级别下不没有数据(集群下不写入该表)
d.通道日志
各日志通道的输出情况(集群下不写入该表)
e.指标日志(略)
2.2 任务日志
作业：
日志：
a.作业日志表
保存作业的开始时间、结束时间、状态等
b.作业项日志表
作业中的项目运行情况
c.日志通道日志表
2.3 监控流程
2.3.1 从资源库读取job列表
select id_job,name from kettle_res.r_job a ;
2.3.2 读取job中的转换的执行状态、上次执行时间
select distinct a.id_job,a.name job_name,b.name trans_name,c.status trans_status,c.LOGDATE laste_exec_timefrom kettle_res.r_job a left join kettle_res.r_jobentry b on a.id_job=b.id_job and b.id_jobentry_type=87 left join test.trans_logs c on b.name=SUBSTRING_INDEX(c.transname,‘(‘,1) and c.logdate= (select max(logdate) from test.trans_logs d where SUBSTRING_INDEX(d.transname,‘(‘,1) =SUBSTRING_INDEX(c.transname,‘(‘,1) group by SUBSTRING_INDEX(d.transname,‘(‘,1) )group by a.name order by a.id_job,b.id_jobentry
结果：
2.3.2 job执行历史
select JOBNAME,status,LOGDATE from test.job_log where jobname=? order by LOGDATE desc
2.3.3 转换执行历史
select transname,status,logdate from test.trans_logs where SUBSTRING_INDEX(transname,‘(‘,1)=? order by logdate desc
2.3.4 短信
在执行出错时可以发送邮件。
注意：看邮件提供商是否支持pop3/SMTP协议，是否需要使用SSL连接。
2.3.5 短信监控
KETTLE监控
标签：div 写入 evel 监控工具 配置 发送邮件 ttl smtp href
原文地址：http://www.cnblogs.com/skyrim/p/7456148.html
