一、数据仓库安装安装ORACLE DATABASE 10g Release 2 ORACLE数据库版本是：10.2.0.1.0（服务器）。执行基本安装（安装全部的组件）并创建示例数据库。安装ORACLE Workflow Server 2.6.4 这个软件没有单独的下载，它位于ORACLE DATA...
分类：
数据库 时间：
2015-08-15 01:32:37
阅读次数：
188
1，关于hiveHive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如：更丰富的类型系统、更类...
分类：
其他好文 时间：
2015-08-14 19:16:06
阅读次数：
140
背景这一篇可以说是“HiveJSON数据处理的一点探索”的兄弟篇。平台为了加速即席查询的分析效率，在我们的Hadoop集群上安装部署了Spark Server，并且与我们的Hive数据仓库共享元数据。也就是说，我们的用户即可以通过HiveServer2使用Hive SQL执行MapReduce分析数...
分类：
数据库 时间：
2015-08-14 15:15:07
阅读次数：
334
数据仓库的数据量一般是非常巨大的，我们需要每天都备份吗？这一点我至今还是不懂，只是感觉数据仓库最起码是从生产库流过来的数据没必要做完完全全的备份，但是备份还是需要的，比如我们的ETL流程如下1：环境了解环境：SQLServer2008R2数据仓库的抽取过程如下图像分析：生产库→ods：采用的是SSI...
分类：
其他好文 时间：
2015-08-13 17:47:42
阅读次数：
291
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。所谓的（1） 面向主题：指数据仓库中的数据是按照一定的主题域进行组...
分类：
数据库 时间：
2015-08-13 07:43:11
阅读次数：
174
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，...
分类：
数据库 时间：
2015-08-13 00:49:32
阅读次数：
359
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
HDFS的体系架构
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。
HDFS采用主从（Maste...
分类：
其他好文 时间：
2015-08-12 19:36:08
阅读次数：
110
一、知识补充：BI(BusinessIntelligence)意为商业智能。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前，商业智能通常被理解为将企..
分类：
其他好文 时间：
2015-08-11 19:15:21
阅读次数：
172
Hadoop 生态圈commonArvoMapReduceHDFSPigHive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）用以查询数据。HBase 一个分布式、按列存储数据库。HBase使用HD...
分类：
其他好文 时间：
2015-08-11 10:02:45
阅读次数：
132
转自：http://www.uml.org.cn/sjjm/201508103.asp 作者：Uri Margalit 来源：InfoQ 发布于：2015-8-10TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行...
分类：
其他好文 时间：
2015-08-10 17:46:57
阅读次数：
240
