如何梳理BI技术框架? 首先,我们需要从各个菜市场(数据源)挑选我们需要的蔬菜、肉类、水果,然后我们开始挑拣、清洗,并根据菜式的要求,将各种原材料切好(ETL),摆放到厨房(数据仓库);然后厨师根据不同的菜式及口味,将原材料进行必要的搭配(OLAP),最后辅以调料,通过炒、焖、炖等不同烹饪的手法制....
分类:
其他好文 时间:
2014-06-28 11:17:17
阅读次数:
422
请大家指教,使用的Oracle数据库作为数据源,mysql数据库做同步1.如图所示:拖进,表输入,插入/更新,write to log,2.下面进入配置页面,双击”表输入“ 或是右键”编辑步骤“ 如果所示:配置你的主数据源,就是你要从他上边更新数据的,点击”新建“或是”编辑“进行数据库配置,如图所示...
分类:
其他好文 时间:
2014-06-23 08:27:53
阅读次数:
756
写在前面一:
数据仓库ETL工具有很多,基于大数据环境下的分析,Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二:
所用软件说明:
一、什么是Kettle
Kettle是一款国外开源的ETL工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transf...
分类:
其他好文 时间:
2014-06-22 12:01:20
阅读次数:
619
Kettle命令行使用说明1.Pan——转换执行器用来执行转换。参数与Kitchen类似,如下。1- -version显示版本信息2- -file=filename运行xml文件3- -param:key=value指定命名参数4- -log=logging filename 设置日志文件5- -l...
分类:
其他好文 时间:
2014-06-17 14:56:18
阅读次数:
194
最近学习大数据的处理,由于项目开发的需要,使用一种简单的方式来将Excel中的数据导入到数据库中,开发使用的kettle工具。 kettle工具安装很简单,从官网上下载下来之后,直接解压到制定的盘符下即可(前提是你配置了JAVA的环境变量,path,classpath)。 在WINDOWS环境下双击...
分类:
数据库 时间:
2014-06-15 22:10:06
阅读次数:
412
Paper:ImageNet Classification with Deep Convolutional Neual NetworkAchievements:The model addressed by Alex etl.achieved top-1 and top-5 test error ra...
分类:
Web程序 时间:
2014-06-15 12:22:10
阅读次数:
320
下载源码请参考上一篇博文Kettle4.4.2源码分析Kettle
5.0以前的库文件通过ant管理,5.0+的库文件通过ant+ivy管理。Eclipse一般都是安装ant插件,不安装ivy插件,在编译之前先在eclipse安装ivyde插件。安装ivyde插件启动Eclipse,Help
-> ...
分类:
其他好文 时间:
2014-06-10 21:57:54
阅读次数:
902
1.vertica概念
面向数据分析的数据仓库系统解决方案
2.vertica关键特性
Ø 标准的SQL接口:可以利用已有的BI、ETL、Hadoop/MapReduce和OLTP环境
Ø 高可用:内置的冗余也提升了查询速度
Ø 自动化数据库设计:数据库自动安装、优化、管理
Ø 高级压缩:十多种压缩算法最多可节省90%的空间
Ø 大规模并行处理:运行于低成本的x86型Lin...
分类:
其他好文 时间:
2014-06-02 23:09:24
阅读次数:
483
Paper:
ImageNet Classification with Deep Convolutional Neual Network
Achievements:
The model addressed by Alex etl.
achieved top-1 and top-5 test error rate of
37.5% and
17.0% of classifyin...
分类:
Web程序 时间:
2014-06-02 15:08:24
阅读次数:
369
组件如下:对计算类型的说明如下:The table below contains
descriptions associated with the calculator step:FunctionDescriptionRequired
fieldsSet field to constant ACre...
分类:
其他好文 时间:
2014-05-28 04:19:05
阅读次数:
1256