创建数据仓库的过程中,往往会遇到这样的问题,例如:源表由于业务原因新增了字段,而ETL程序中是按照之前的源表结构进行抽取的,那么如果不重新构建ETL程序,新的指标就不会流入DW,问题如下图所示创建了一个简单的输入输出如下图所示,源表中有一个column3字段没有被匹配到下面我们可以打开sql编辑器,...
分类:
其他好文 时间:
2015-01-13 10:19:26
阅读次数:
372
本文利用twitter做为数据源,介绍使用Oracle大数据平台及Oralce Data Integrator工具,完成从twitter抽取数据,在hadoop平台上处理数据,并最终加载到oracle数据库。数据集成分为三个阶段:获取、整理、分析和决策。 本文从实际出发,讲述大数据处理的真实案例,....
分类:
其他好文 时间:
2015-01-09 19:17:27
阅读次数:
248
42 linux.backspace乱码linux环境sqlplus中使用backspace键出现乱码的解决方法2008-04-30 16:32在linux环境下使用sqlplus,在回删(backspace)时往往会出现 一串的乱码。出现乱码是由于oracle的sqlplus不使用gnu的read...
分类:
系统相关 时间:
2015-01-08 23:58:10
阅读次数:
483
最近因为项目需要接触了kettle,需要为用户定制一些特定的转换。
下面记录一下自己的学习经历。
下载的kettle版本文件稳定版,从github上面下载 github不熟的朋友可以参考文章 如何更好的理解和使用Github
fork一个版本 然后clone in desktop
地址为 https://github.com/bigfishman/...
分类:
其他好文 时间:
2015-01-08 20:12:02
阅读次数:
322
公司的nagios报警发送邮件,标题乱码,我在解决问题的时候,发现,只有往公司的新浪企业邮箱发送邮件会产生乱码问题(标题乱码),而向我自己的邮箱(163,qq)发送都不会有乱码的问题,考虑发送邮件和接收邮件,只有发送邮件可以考虑,接收邮件考虑不了(邮箱没有编码。。。。。),所以只能更改配置或者更改邮...
分类:
移动开发 时间:
2015-01-06 11:27:02
阅读次数:
147
原创作品,出自 “深蓝的blog” 博客,欢迎转载,转载时请务必注明以下出处,否则追究版权法律责任。
深蓝的blog:
kettle内存溢出错误解决
环境:
源端数据库:oracle 10G R2
目标端数据库:oracle 11G R2
kettle版本:5.0.1-stable
报错:
抽取大数据量表时,报错,日志信息如下:
2015/01/05 11:27:42 -...
分类:
其他好文 时间:
2015-01-06 09:59:13
阅读次数:
252
kettle execl 表输入。 拖入execl表输入空间,配置如下! 注意点:如果execl配置没问题的话点击显示文件名称,文件应该能正式显示出来,选中的文件那个表格必须有数据 [在此输入图片描述][1] ![在此输入图片描述]...
分类:
其他好文 时间:
2015-01-05 15:08:51
阅读次数:
223
第1章 机器学习基础1)学习分类监督学习——是因为这类算法必须知道预测什么,即目标变量的分类信息。无监督学习——数据没有类别信息,也不会给定目标值。2)开发机器学习应用程序的步骤 收集数据——制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得到信息、设备发送过来的实测数据(风速、血糖等)、公....
分类:
其他好文 时间:
2015-01-05 14:38:09
阅读次数:
170
GET乱码以及POST乱码的解决方法作者:东坡下载来源:uzzf发布时间:2010-10-14 11:40:01点击:一、GET乱码的解决方法 在tomcat的server.xml文件中修下面的代码片段,在最后添加URIEncoding="UTF-8",修改后的结果如下 Xml代码 conne...
分类:
其他好文 时间:
2015-01-04 06:24:54
阅读次数:
200