码迷,mamicode.com
首页 > 数据库 > 详细

在kettle中使用内存数据库H2

时间:2015-06-05 18:00:46      阅读:1459      评论:0      收藏:0      [点我收藏+]

标签:

先前一直使用的是postgresql,因为网速的原因,所以打算将数据统一放到HDFS上,但是一条一条写HDFS是很慢的,全部写到本地文件再传到HDFS上也是一样慢,这样一来就有了本文,将部分先放到内存数据库中,然后再写到HDFS上,这样数据抽取和写入的速度一下翻了好几倍!好了,说说怎么在kettle中使用H2

先去下载H2,点击下载

我测试的时候下的是windows版本,解压后,执行h2/bin/h2.bat,执行成功后,会打开下图的界面

技术分享

红框中的内容输入什么见下面代码

Database URLs
Embedded  //嵌入式
jdbc:h2:~/test  ‘test‘ in the user home directory
jdbc:h2:/data/test  ‘test‘ in the directory /data
jdbc:h2:test  in the current(!) working directory
In-Memory //内存式
jdbc:h2:mem:test  multiple connections in one process
jdbc:h2:mem:  unnamed private; one connection
Server Mode  //服务器模式
jdbc:h2:tcp://localhost/~/test  user home dir
jdbc:h2:tcp://localhost//data/test  absolute dir
Server start:java -cp *.jar org.h2.tools.Server 
Settings  //配制模式(这个我不多用)
jdbc:h2:..;MODE=MySQL compatibility (or HSQLDB,...)
jdbc:h2:..;TRACE_LEVEL_FILE=3 log to *.trace.db

我先试用的是内存模式,但是试了以后才发现,H2支持的场景对我不适用,因为内存模式,要求所有的链接都在一个进程内,这对于kettle来说是不现实的,如果非要用,那只能将创建表的语句,和使用表的模块放到一个transform中,如下图

技术分享

看到了,最上面的图标是建表语句,下面的是往表中插入数据,必须这样使用,放到JOB中无效,只能在一个transform中,好了,看下图看看我们怎么用kettle连接内存模式的H2

技术分享

技术分享

以上这两种方式都可以连接到内存模式的H2,选择一种使用即可。

下面说说适合我场景的嵌入式模式

先看连接方式,只能这样连接

技术分享

使用嵌入式模式的好处是,创建表的模块和入库的模块可以在两个不同的transform中,因为嵌入式的模式是将数据写到默认的硬盘上了,好了就先写到这儿了,快去试试,有啥问题,直接留言。

在kettle中使用内存数据库H2

标签:

原文地址:http://my.oschina.net/sucre/blog/425380

(0)
(1)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!