关于数据仓库维度数据处理的方法探究1 维概述1.1概述维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构（级别）。这些分类和级别描述了一些相似的成员集合，用户将基于这些成员集合进行分析。(此概念引之于SQLServer2000联机帮助)所有维度均直接或间接地基于表。当...
分类：
其他好文 时间：
2015-01-08 10:53:25
阅读次数：
186
我们目前大量使用的索引一般主要是B*Tree索引，在索引结构中存储着键值和键值的RowID,并且是一一对应的。而位图索引主要针对大量相同值的列而创建(例如：类别，操作员，部门ID,库房ID等),索引块的一个索引行中存储键值和起止Rowid,以及这些键值的位置编码,位置编码中的每一位表示键值对应的数据行的有无.一个块可能指向的是几十甚至成百上千行数据的位置。这种方式存储数据,相对于B*Tree索引,...
分类：
数据库 时间：
2015-01-07 18:52:19
阅读次数：
296
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句...
分类：
数据库 时间：
2015-01-07 13:22:27
阅读次数：
323
以下内容摘自互联网并作了整理。名词：BI(Business Intelligence)：商业智能，DW(Data Warehouse)：数据仓库，详见正文Q1部分。OLTP(On-Line Transaction Processing)：联机事务处理也称为面向交易的处理系统，其基本特征是顾客的原始数...
分类：
其他好文 时间：
2015-01-06 17:32:32
阅读次数：
172
Mysql多维数据仓库指南第一篇基本原理章节列表:第1章：基本组成第2章：维度历史第3章：维度可加性第4章：维度查询本篇概述 你将运用关系数据库来实施一个维度数据仓库。事实表和维表这两种类型的关系表构成了一个数据仓库模式的基本部分，在本书的第一部分，你将用mysql数据库建立这些基本部分。 第1章:...
分类：
数据库 时间：
2014-12-27 18:49:00
阅读次数：
257
SymfowareServer富士通针对关键性在线交易的电子商务以及水泥砖块构件业务模式的关系型数据库管理系统，同时它也具有强大的灵活的数据管理引擎，管理大量的数据仓库的解决方案。它提供高效的安全管理、高度的可靠性、高性能和吞吐量，同时也有高度的查询/装载的功能。Symfoware..
分类：
其他好文 时间：
2014-12-26 18:54:15
阅读次数：
274
简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
Oracle的实体化视图提供了强大的功能，可以用在不同的环境中,实体化视图和表一样可以直接进行查询。实体化视图可以基于分区表，实体化视图本身也可以分区。主要用于预先计算并保存表连接或聚集等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，而从快速的得到结果。在数据仓库中，还经常...
分类：
其他好文 时间：
2014-12-25 14:16:02
阅读次数：
221
感谢shwenwen转自http://www.itpub.net/thread-355437-1-2.html09: 09 ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那...
分类：
其他好文 时间：
2014-12-24 11:30:35
阅读次数：
218
一：为什么要预处理数据？
（1）现实世界的数据是肮脏的（不完整，含噪声，不一致）
（2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）
（3）原始数据中存在的问题：
不一致 —— 数据内含出现不一致情况
重复
不完整 —— 感兴趣的属性没有
含噪声 —— 数据中存在着错误、或异常（偏离期望值）的数据
高维度...
分类：
其他好文 时间：
2014-12-23 12:31:19
阅读次数：
193
