note 数据库仓库: 1.面向主题 2.数据集成性 (清理) 3.数据库的时变性 4.数据的非易失性 5.支持决策系统 数据仓库采用并行结构 采用新的查询优化策略和索引结构 数据库仓库概念模型 (数据仓库以元数据来存储) 1.概念数据模型 逻辑模型(中间型) 性能问题: 1.合并表 2.建立数据序 ...
分类:
其他好文 时间:
2016-08-15 12:42:20
阅读次数:
118
有很多人问我,怎么样能够快速的把BAIDU地图左边的搜索列表里的商家地图,电话,导出到EXCEL里。 我就开发了一个小软件,专门为快速的实现导出数据到EXCEL。 为了使用方便,已经将全国的所又省份, 每个省份里包含的地级市, 每个地级市包含的区县, 都收集数据集成到软件 里了。 只要下拉框里选择需 ...
分类:
其他好文 时间:
2016-08-09 22:12:15
阅读次数:
908
企业应用集成 面向服务的体系结构 (SOA) 目前应该是一个很受欢迎的名词,中间件技术人员几乎到了言必称SOA的程度,数据集成当然也不例外,在Oracle openworld2008大会上,就推出了一堆数据集成的专场演讲,其中和SOA结合最紧密的就是实时数据集成 real time data int ...
分类:
其他好文 时间:
2016-07-01 13:29:19
阅读次数:
118
有很多人问我,怎么样能够快速的把BAIDU地图左边的搜索列表里的商家地图,电话,导出到EXCEL里。 我就开发了一个小软件,专门为快速的实现导出数据到EXCEL。 为了使用方便,已经将全国的所又省份, 每个省份里包含的地级市, 每个地级市包含的区县, 都收集数据集成到软件 里了。 只要下拉框里选择需 ...
分类:
其他好文 时间:
2016-06-18 15:25:19
阅读次数:
558
1.原始数据存在的几个问题:不一致;重复;含噪声;维度高。 2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。 3.数据挖掘中使用的数据的原则 应该是从原始数据中选取合适的属性作为数据挖掘属性,这个选取过程应参考的原则是:尽可能赋予属性名和属性值明确的含义;统一多数据源的属性值编码; ...
分类:
其他好文 时间:
2016-06-04 17:58:39
阅读次数:
1231
ODI KM二次开发手册 分类: ODI(16) 分类: ODI(16) 目录(?)[+] 目录(?)[+] 1 引言 1.1 编写目的 本手册面向的读者对象为具备数据集成业务知识及对ODI操作了解的开发人员,作为其完成基于ODI基础上KM二次开发的参考手册。详细介绍了如何在ODI上进行KM二次开发 ...
分类:
其他好文 时间:
2016-05-19 15:03:33
阅读次数:
310
web数据集成技术可以从web上自动获取数据,但是获取的信息存在着大量的脏数据,比如滥用缩写词,惯用语,数据输入错误,重复记录,丢失值,拼写变化,不同的计量单位。这些数据是没有意义的,根本就不可能为以后的数据挖掘决策分析提供任何支持。数据清洗主要是提高数据的可用性,目前,数据清洗主要应用于三个领域:
1 数据仓库(DW)
2数据库中的知识发现(KDD)
3数据质量管理(TDQM)
我在公司...
分类:
其他好文 时间:
2016-05-07 07:30:58
阅读次数:
598
再来说下数据集成开发过程,批处理数据集成和ETL
数据集成生命周期
1 确定项目的范围
2 概要分析
生命周期的第二个部分常常会被忽略,即概要分析。因为数据集成被视作一门技术活,而组织通常会对授权
访问生产数据比较敏感,因此,为了开发数据接口而对当前存储于可能的源和目标系统的数据进行分析可能是件
比较困难的事情。所以,对实际数据进行概要分析往往...
分类:
其他好文 时间:
2016-04-29 15:53:09
阅读次数:
218
7.1 什么是数据仓库
数据仓库是基于特定的数据结构(以及有关应用程序)所构建的数据的中央存储库,以便为分析和报表提供
一致的数据源。面向整个组织创建的企业数据仓库(Enterprise Data Warehouse,EDW)用于对整个组织的信息
进行分析。大多数情况下,超大型组织中会有多个企业级数据仓库,每个都拥有组织中某个很大组成部分的数
据,如某个区域,或者很大的功能域...
分类:
其他好文 时间:
2016-04-29 15:29:35
阅读次数:
288
企业信息化之路 问题 互联互通 统一访问 统一身份管理 数据管理模型 企业数据集成业务架构 业务流程框架 业务流程模型 个性流程支持 跨业务的业务流程组合 EBS总线 ] SOA架构上视图 BI商业智能架构 技术服务架构 ---------------------------... ...
分类:
其他好文 时间:
2016-04-16 12:31:08
阅读次数:
877