数据etl常用工具kettle。 1、说明： kettle-数据源配置化：是指kettle的数据源连接信息全部或者部分从配置文件中读取（如果是数据库的资源库，那么资源库也可以配置化）。 2、优点： 1、这样程序本身就和kettle的业务解绑了，开发、生产采用不同配置；每次开发完成就可以直接导入线上， ...
分类：
其他好文 时间：
2018-01-06 18:04:31
阅读次数：
161
注意：合并记录的使用前提是2个数据源都按比较关键字排过序，否则合并之后的数据不准确，可能会多出很多。 该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。 需要设置的参数： 旧数据来源：旧数据来源的步骤 新数据来源。新数据 ...
分类：
其他好文 时间：
2018-01-02 13:24:32
阅读次数：
2407
在数据库连接上添加字符集编码参数characterEncoding, 指定UTF8或GBK ...
分类：
数据库 时间：
2017-12-31 10:45:56
阅读次数：
125
What 起源 Kettle是一个Java编写的ETL工具，主作者是Matt Casters，2003年就开始了这个项目，最新稳定版为7.1。 2005年12月，Kettle从2.1版本开始进入了开源领域，一直到4.1版本遵守LGPL协议，从4.2版本开始遵守Apache Licence 2.0协议 ...
分类：
其他好文 时间：
2017-12-31 00:33:49
阅读次数：
726
开源免费--最喜欢的四个字没有之一 1.官网下载 https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 下载完后，解压即可，双击Spoon.bat就可以启动了。 2. 配置JVM及内存配置问题 自行配置 参考: http ...
分类：
编程语言 时间：
2017-12-29 23:35:38
阅读次数：
1004
此篇说明对应的kettle版本是6.1，实际使用时7.x应该也是一样的。 一、 kettle开发流程（规范步骤，防止出错） (一) Kettle设置检查 如果不加一下配置项，数据转换后中文会出现乱码，很难处理。 本地连接资源库：配置项 defaultFetchSize 500 useCursorFe ...
分类：
其他好文 时间：
2017-12-28 14:03:39
阅读次数：
240
kettle 字符乱码的解决方法：编辑数据连接---> 选项，加一行characterEncoding utf8 保存即可
分类：
其他好文 时间：
2017-12-27 11:52:36
阅读次数：
85
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行。 说白了就是，很有必要去理解一般ETL工具必备的特性和功能，这样才更好的掌握Kettle的使用。我这里啊，先描述ETL工具的通用功能，再来描述作为ETL工具其中的一种（Kettle）是如何来提供这 ...
分类：
其他好文 时间：
2017-12-23 15:49:47
阅读次数：
161
1.Caused by: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@160750a6 is still active. No statements may be issued when any ...
分类：
其他好文 时间：
2017-12-22 18:38:46
阅读次数：
276
一 关于Kettle Kettle是一款国外开源的ETL工具，纯java编写，数据抽取高效稳定的数据迁移工具。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流程的控制。 二 本项目中的ETL需求 本项目主要 ...
分类：
其他好文 时间：
2017-12-21 15:56:06
阅读次数：
149
