因为有个日常提数,工作日每天都要从数据库中提取数据,转换为excel,再以邮件的形式发给用户。 刚好近期同事在研究使用kettle自动提数且完成邮件的发送,觉得很实用又挺有意思的就学了一下这个技能~ 首先我们需要新建 转换 转换: 可以将数据从数据库中提取到excel中 然后我们如果想要定时提取数据 ...
分类:
数据库 时间:
2019-06-18 19:43:46
阅读次数:
150
1. KETTLE简介 一种ETL工具,ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。 常见的ETL工具有datastage、informatica、kettle、ODI ...
分类:
Web程序 时间:
2019-06-15 20:28:19
阅读次数:
312
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行。 说白了就是,很有必要去理解一般ETL工具必备的特性和功能,这样才更好的掌握Kettle的使用。我这里啊,先描述ETL工具的通用功能,再来描述作为ETL工具其中的一种(Kettle)是如何来提供这 ...
分类:
其他好文 时间:
2019-06-14 20:01:48
阅读次数:
93
初始Kettle(水壶)是开源的ETL(数据抽取Extract、转换Transform、加载Load)工具,数据抽取和转换工具。Java编写,可在Windows、Linux、Unix上运行,支持各种数据类型放到水壶里。以一种指定的格式流出,ETL工具允许来自不同的数据库的数据,通过图形化用户环境来描述。Kettle有两种脚本文件,transformation和job,transformation完
分类:
其他好文 时间:
2019-06-13 18:43:27
阅读次数:
107
kettle.properties 是一个变量文件,这个文件我使用的最多的地方是保存 “数据库连接” 用户名和密码。 如果不用这个文件,那么使用“数据库连接”时,需要硬编码写到文件里。 有一天dba告诉你,库迁移了,数据库用户密码换了/IP变了,那么需要一个文件一个文件的修改密码/IP。 如果使用k ...
分类:
其他好文 时间:
2019-06-10 13:25:28
阅读次数:
131
说道循环,小伙伴们肯定不陌生,就是重复干一件事;而kettle中的循环一般是发生在job中,因为job是串行执行的;kettle的循环有两种,一种是通过js脚本,另外一种是通过遍历前面步骤返回的每一行。下面是我写的伪代码,我将使用Kettle来实现这段代码:array = ['sys1','sys2... ...
分类:
其他好文 时间:
2019-06-07 10:47:14
阅读次数:
112
kettle 学习 工具的安装 Navicat 连接mysql使用 网盘里有 如下图 连接名为数据库名 主机地址 用户名为mysql 数据库用户名 详细在有道云 PL/SQL 连接oracle使用 网盘里有 注意:PL/SQL 安装时如果本地没有安装oracle客户端,那么有很多问题要注意 详见:P ...
分类:
其他好文 时间:
2019-06-04 19:05:56
阅读次数:
108
在一个Kettle中,我发现一个平时正常跑的转换,突然不正常了。他增量查询没问题,但是到插入更新的那一步,所有数据都拒绝,而且报错看不出什么。经过排查,所有的写的步骤都是正确的,但是就是不进库。后来,我把所有的步骤重新新建,然后就可以了!!!再后来,我又遇到这种情况,然后把增量查询的sql重新复制,粘贴进去,再保存一下,也正常进库了。可能是kettle识别有问题把??
分类:
其他好文 时间:
2019-05-27 11:50:17
阅读次数:
239
这个报错是因为JDK版本问题,7.1版本的Kettle需要JDK1.8,而我本机装的JDK1.7,需要升级JDK即可。 另外说明: 【1】spoon.bat下面参数值太大容易启动溢出,可根据需要调整。 if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI ...
分类:
编程语言 时间:
2019-05-26 13:04:07
阅读次数:
169