今天再弄kettle 的时候遇到两个问题, 1.更新数据的时候,遇到一个问题,就是我的输入表主键不是null,但是他一直说我插入null值 2.更新的数据,出现乱码首先说第一个 其实kettle在进行更新数据的时候,它是需要你根据你的主键进行更新,你的数据的,如果你的主键只进行比较而不进行更新,.....
分类:
其他好文 时间:
2014-07-01 20:38:03
阅读次数:
275
中间库---->机构代码表 本地数据库------>机构表他们两张表的结构是这样的: 机构代码表 Id 机构表 Id Flag需求是这样的,我本地的机构表中的Id只要在中间库的机构代码表里存在,我就要把机构表里的Flag列更新为1,其实一开始想的是使用变量应该是可以的,...
分类:
其他好文 时间:
2014-07-01 20:27:52
阅读次数:
928
shell之文本过滤(awk)分类:linux shell脚本学习2012-09-19 15:531241人阅读评论(0)收藏举报shell正则表达式脚本任务语言如果要格式化报文或从一个大的文本文件中抽取数据包,那么awk可以完成这些任务。为了获取所需信息,文本必须格式化,也就是说要使用域分隔符来划...
分类:
其他好文 时间:
2014-06-30 21:15:20
阅读次数:
324
使用Java开发程序时,AWT控件上的中文在程序运行的时候显示成乱码,这是myeclipse的运行参数设置的问题。
解决方法:
第一:在你的具有main函数的类也即你应用运行的主类上点击右键,选择Run As中的Run
Configurations,如下图:
第二,在Arguments标签下的VM arguments中添加下面这行参数代码,然后点击应用。
...
分类:
编程语言 时间:
2014-06-30 00:09:42
阅读次数:
397
1.ETL:数据抽取2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。3.开源实现:Kettle 工具====================================================================学习:大家可以学学这个Ket...
分类:
其他好文 时间:
2014-06-26 13:05:42
阅读次数:
210
请大家指教,使用的Oracle数据库作为数据源,mysql数据库做同步1.如图所示:拖进,表输入,插入/更新,write to log,2.下面进入配置页面,双击”表输入“ 或是右键”编辑步骤“ 如果所示:配置你的主数据源,就是你要从他上边更新数据的,点击”新建“或是”编辑“进行数据库配置,如图所示...
分类:
其他好文 时间:
2014-06-23 08:27:53
阅读次数:
756
写在前面一:
数据仓库ETL工具有很多,基于大数据环境下的分析,Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二:
所用软件说明:
一、什么是Kettle
Kettle是一款国外开源的ETL工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transf...
分类:
其他好文 时间:
2014-06-22 12:01:20
阅读次数:
619
Kettle命令行使用说明1.Pan——转换执行器用来执行转换。参数与Kitchen类似,如下。1- -version显示版本信息2- -file=filename运行xml文件3- -param:key=value指定命名参数4- -log=logging filename 设置日志文件5- -l...
分类:
其他好文 时间:
2014-06-17 14:56:18
阅读次数:
194
最近学习大数据的处理,由于项目开发的需要,使用一种简单的方式来将Excel中的数据导入到数据库中,开发使用的kettle工具。 kettle工具安装很简单,从官网上下载下来之后,直接解压到制定的盘符下即可(前提是你配置了JAVA的环境变量,path,classpath)。 在WINDOWS环境下双击...
分类:
数据库 时间:
2014-06-15 22:10:06
阅读次数:
412
下载源码请参考上一篇博文Kettle4.4.2源码分析Kettle
5.0以前的库文件通过ant管理,5.0+的库文件通过ant+ivy管理。Eclipse一般都是安装ant插件,不安装ivy插件,在编译之前先在eclipse安装ivyde插件。安装ivyde插件启动Eclipse,Help
-> ...
分类:
其他好文 时间:
2014-06-10 21:57:54
阅读次数:
902