好久好久没有写博客了，发现再不写博客我都快忘了我有这个博客了！好了，不说废话了。最近项目使用kettle的地方比较多，鉴于项目优化的思考决定使用jndi来为kettle脚本设置数据源。这样不仅可以控制连接数，而且可以减少大量的数据库配置，那么我们怎么样才能实现在Web项目中调..
分类：
其他好文 时间：
2014-08-31 10:35:01
阅读次数：
251
最近开始折腾数据，起源是多业务数据源需要转换到数据分析平台。这个过程需要跨机器，跨库。同时还需要将业务数据表的内容进行转换，合并，清洗等等操作。经过多方选型，最终决定使用kettle来作为数据抽取处理的工具。但是，在这里，是想吐槽下kettle这东西的问题。1.kettle的版本使用的是5.1，搭建...
分类：
其他好文 时间：
2014-08-28 17:47:45
阅读次数：
308
<?php //在程序需要分叉的时候，使用pcntl_fork()产生子进程，然后多线程同时执行任务 $pid = pcntl_fork(); if($pdi < 0) exit('fork error!'); if($pid) { //如果pid大于0，那么是父进程， //这边让父进程直接...
分类：
Web程序 时间：
2014-08-06 18:07:51
阅读次数：
268
术语定义：Transformation-----转换Step----------------步骤Hops----------------跳接线一个步骤是KETTLE中的最小执行单元，用于实现指定的单一逻辑任务。一个转换是一批步骤组成的网状结构，用于实现一个相对完整的任务，转换，实际上定义了数据的流向...
分类：
其他好文 时间：
2014-07-31 02:35:35
阅读次数：
417
数据库中的数据在不同的数据库中转换来装换去，由于不同库可能使用了不同的字符集，所以可能导致结果数据乱码问题。此次是在一个作业中跑数据，跑完数据前台数据显示出现乱码，检查了作业中的多有中间过程表，包括...
分类：
其他好文 时间：
2014-07-21 10:09:15
阅读次数：
473
最近由于项目的需要，初步涉及到了Kettle的使用，现在将这两周自己使用kettle开发JOB的心得整理一下，与大家一起分享。 一、kettle是什么 Kettle是个ETL工具，主要用来管理不同数据来源的数据，按照一定的方式流出来，最常用的情况，不同系统之间数据的传递，可以使用kettle制作转换...
分类：
其他好文 时间：
2014-07-14 20:58:41
阅读次数：
411
