标签:数据仓库 etl kettle
kettle是一个ETL(Extract, Transform and Load抽取、转换、载入)工具,ETL工具在数据仓库项目使用非常频繁,kettle也可以应用在以下一些场景:
在不同应用或数据库之间整合数据
把数据库中的数据导出到文本文件
大批量数据装载入数据库
数据清洗
集成应用相关项目是个使用
kettle使用非常简单,通过图形界面设计实现做什么业务,无需写代码去实现,因此,kettle是以面向元数据来设计;
kettle支持很多种输入和输出格式,包括文本文件,数据表,以及商业和免费的数据库引擎。另外,kettle强大的转换功能让您非常方便操纵数据。
下面展示一个简单的“Hello World”示例,本教程将告诉你如何轻松用kettle工作,让你有基础能够学习更复杂的转换功能。
安装kettle
kettle设计工具spoon介绍
hello world示例
重新设计helloworld示例
首先通过官网下载kettle;
需求环境:
kettle需要jre1.5及以上版本,可以通过oracle官网免费下载;
kettle安装
kettle无需安装,直接解压zip文件到指定的文件夹。在类unix操作系统上,需要执行以下脚本:
cd Kettle
chmod +x *.sh
运行
kettle中的一个图形用户界面叫spoon,spoon可以设计转换和作业,也可以运行转换和作业,下面的内容将继续介绍他们。
Spoon是一个图形设计工具,用来设计和测试数据交换处理流程,也可以通过命令行(终端)执行处理流程。
资源库和文件
在spoon中设计作业和转换,kettle提供两种方式存储:资源库和文件;
如果你选择资源库,spoon第一次启动时需要创建资源库;选择文件方法,作业保存文件是的扩展名是KJB,转换文件的扩展名为KTR,为了简化学习,下面教程采用后者。
启动spoon
在windows中执行spoon.bat,在类unix系统中执行spoon.sh;启动时首先出现一个对话框窗口提示选择资源库及输入连接信息,点击取消按钮。
然后可以看到欢迎窗口,点击“工具”菜单下的“选项”,弹出窗口中可以进行一些全局设置,如语言、日志等信息,设置后需重启才能生效。
下面内容参见《kettle系列教程二》
标签:数据仓库 etl kettle
原文地址:http://blog.csdn.net/neweastsun/article/details/38728757