触发器表输入:selecta.*,b.*,0asztflagfromexchange_triggeraleftjoinMAEA_NET_BIZ_BASEINFObon(a.keyvalue=b.id)wherea.flag=0anda.tablename=‘MAEA_NET_BIZ_BASEINFO‘附件处理脚本://Scriptherevarbyte_FILEDATA=null;if(FILEDATA!=null&&FILEDATA!=‘‘){varbb=newP..
分类:
其他好文 时间:
2014-07-04 06:17:57
阅读次数:
279
需要列转行的数据分为两种:有主键和无主键,先说无主键的转以前的内容转以后的内容看到了吧,转过来了,好来张整体流程图开始分析:第一个图标打开后为这是第一步里面主要的一步,这里配置好了就可以进行第二步了。因为没有主键,所以要给城市那一列添加一个相同的主键,这样..
分类:
其他好文 时间:
2014-07-04 00:59:23
阅读次数:
267
最近在用kettle做数据统计,遇到了标题中说的问题,解决方法也简单,不过还要说明一下虽然这两个都是内存溢出,但是是有区分的,OutOfMemoryError表示堆溢出,StackOverFlowError表示栈溢出,一般出现前者的情况比较多,后者的情况出现的较少,除非你用了深度循环。一般情况下s..
分类:
其他好文 时间:
2014-07-02 06:21:41
阅读次数:
246
今天再弄kettle 的时候遇到两个问题, 1.更新数据的时候,遇到一个问题,就是我的输入表主键不是null,但是他一直说我插入null值 2.更新的数据,出现乱码首先说第一个 其实kettle在进行更新数据的时候,它是需要你根据你的主键进行更新,你的数据的,如果你的主键只进行比较而不进行更新,.....
分类:
其他好文 时间:
2014-07-01 20:38:03
阅读次数:
275
中间库---->机构代码表 本地数据库------>机构表他们两张表的结构是这样的: 机构代码表 Id 机构表 Id Flag需求是这样的,我本地的机构表中的Id只要在中间库的机构代码表里存在,我就要把机构表里的Flag列更新为1,其实一开始想的是使用变量应该是可以的,...
分类:
其他好文 时间:
2014-07-01 20:27:52
阅读次数:
928
1.ETL:数据抽取2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。3.开源实现:Kettle 工具====================================================================学习:大家可以学学这个Ket...
分类:
其他好文 时间:
2014-06-26 13:05:42
阅读次数:
210
请大家指教,使用的Oracle数据库作为数据源,mysql数据库做同步1.如图所示:拖进,表输入,插入/更新,write to log,2.下面进入配置页面,双击”表输入“ 或是右键”编辑步骤“ 如果所示:配置你的主数据源,就是你要从他上边更新数据的,点击”新建“或是”编辑“进行数据库配置,如图所示...
分类:
其他好文 时间:
2014-06-23 08:27:53
阅读次数:
756
写在前面一:
数据仓库ETL工具有很多,基于大数据环境下的分析,Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二:
所用软件说明:
一、什么是Kettle
Kettle是一款国外开源的ETL工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transf...
分类:
其他好文 时间:
2014-06-22 12:01:20
阅读次数:
619
Kettle命令行使用说明1.Pan——转换执行器用来执行转换。参数与Kitchen类似,如下。1- -version显示版本信息2- -file=filename运行xml文件3- -param:key=value指定命名参数4- -log=logging filename 设置日志文件5- -l...
分类:
其他好文 时间:
2014-06-17 14:56:18
阅读次数:
194
最近学习大数据的处理,由于项目开发的需要,使用一种简单的方式来将Excel中的数据导入到数据库中,开发使用的kettle工具。 kettle工具安装很简单,从官网上下载下来之后,直接解压到制定的盘符下即可(前提是你配置了JAVA的环境变量,path,classpath)。 在WINDOWS环境下双击...
分类:
数据库 时间:
2014-06-15 22:10:06
阅读次数:
412