码迷,mamicode.com
首页 > 其他好文 > 详细

kettle转换提高性能拆分转换步骤_20161201

时间:2016-12-02 01:39:14      阅读:282      评论:0      收藏:0      [点我收藏+]

标签:分解   打开   技术分享   pac   多个   通过   tle   space   做了   

今天是12月1号,前期用kettle做了月报自动报表的转换和作业,今天运行时候发现一个报表的程序跑起来失败,心里很纳闷,上过月刚跑的没问题,怎么会无缘无故的失败。

通过看kettle运行日志,发现一个错误,c盘left no space 也就是在系统盘上没有足够的空间存储临时表,这时候才考虑到可能是在转换的步骤里设置的步骤过多,有很多个表输入,

由于kettle输出执行顺序是自上而下,但是输入是无序的,在很多步骤同时输入的时候就会占用很大的内存,性能就会很慢。

打开那个出问题的kettle转换文件,才发现自己在这个转换里添加了接近70个步骤,也怪前期没有了解这块,因此尝试分解步骤,把一个转换拆分成多个转换,每个转换的步骤数调试控制在不会报错的结果,下午测试成功,又积累了一个经验。

技术分享

 

技术分享

作业执行的时候也是按照那个顺序去执行因此整个流程下来很清晰

技术分享

 

kettle转换提高性能拆分转换步骤_20161201

标签:分解   打开   技术分享   pac   多个   通过   tle   space   做了   

原文地址:http://www.cnblogs.com/Mr-Cxy/p/6123901.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!