sqlldr+shell+crontab的最简单etlj2ee的简单平台+jor 的简单报表展示简简单单的东西已经能在一定程度上满足业务的需求了。总部的数据仓库也已经完成一期建设，如何将总部的数仓投入到分支机构的一线使用是这次来总部培训的课题。讨论，调研。。。大家还是没有一个很好的共识，或许数据安全...
分类：
其他好文 时间：
2015-09-20 01:45:52
阅读次数：
265
1. 首先，咱们先不拿大数据说事，先分析一下OLAP及OLTP。 OLAP: 联机分析处理（OLAP）系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。 OLTP: 联机事务处理(OLTP，On-line Transaction Proces.....
分类：
其他好文 时间：
2015-09-19 00:54:16
阅读次数：
283
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接。本文以hivewiki上示例为基础，详细讲解了如何使用jdbc连接hive数据库..
分类：
数据库 时间：
2015-09-15 20:18:25
阅读次数：
633
一、数据分类模型二、数据分类定义元数据（metadata,Reference DataMaster DataEnterprise structure Data,Transaction Activity Data）引用数据（），主数据（），企业结构数据（）交易活动数据（）交易审计数据（Transac....
分类：
其他好文 时间：
2015-09-15 14:18:07
阅读次数：
132
在数据仓库中，有事实表、维度表两个概念。事实表是数据仓库结构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（例如产品销售）内特定事件的数据。维度表是维度属性的集合。是分析问题的一个窗口。是人们观察数据的特定角度，是考虑问题时的一..
分类：
数据库 时间：
2015-09-14 08:18:21
阅读次数：
316
Oracle11g提供了数据仓库的示例schema，可以通过如下链接下载示例安装文件。http://www.oracle.com/technology/products/bi/olap/doc_sample_schemas/global_11g_schema.zip将下载的文件上传至Oracle服务器，并解压。[oracle@localhost~]$mkdirglobal_11g_schema
[oracle@local..
分类：
数据库 时间：
2015-09-14 00:39:00
阅读次数：
279
下方有调用过程从程序中考虑：比如用数据缓冲和连接池技术从数据库服务器端考虑：比如csdn只选出前300行纪录，因为用户不需要那么多纪录。你也不必把1000万条全部分页。你也不必把纪录放在一个表中，一年（太多就一个月）的数据放一张表或定期把历史数据导出到数据数据仓库中，不要用一张表装1000万条记录。...
分类：
Web程序 时间：
2015-09-10 15:45:48
阅读次数：
340
Hive 起源于FaceBook,Hive在Hadoop中扮演数据仓库的角色。建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口进行操作。你可以用?HiveQL进行select,join,等等操作。 如果你有数据仓库的需求并且...
分类：
其他好文 时间：
2015-09-10 14:29:34
阅读次数：
226
学习SAP BW有段时间了，把BW中常用的业务代码整理如下，不断更新，欢迎补充。l rsa1 数据仓库控制台，包括建模、传输、元数据等等；l rsa3 数据源模拟抽取器，一般在源R/3系统使用；l rsa5 源系统中未激活的数据源；l rsa6 源系统中已经激活的数据源；l rspc BW数据链l ...
分类：
其他好文 时间：
2015-09-09 19:30:50
阅读次数：
280
之前部署公司BI项目例子，发现数据库表都没有设置主键、外键，一直以为是模拟项目，不严谨要求的原因。今天才知道数据仓库本来就不设计主键和外键。这些约束在ETL编程的时候就该做好，保证在满足数据源约束的所有...
分类：
其他好文 时间：
2015-09-08 00:35:04
阅读次数：
141
