三、建立数据仓库示例模型
Hadoop及其相关服务安装配置好后,下面用一个小而完整的示例说明多维模型及其相关ETL技术在Hadoop上的具体实现。
1. 设计ERD
操作型系统是一个销售订单系统,初始时只有产品、客户、订单三个表,ERD如下图所示。
多维数据仓库包含有一个销售订单事实表,产品、客户、订单、日期四个维度表,ERD如下...
分类:
其他好文 时间:
2016-06-29 19:11:04
阅读次数:
432
二、安装Hadoop及其所需的服务
1. CDH安装概述
CDH的全称是Cloudera's Distribution Including Apache Hadoop,是Cloudera公司的Hadoop分发版本。有三种方式安装CDH:
. Path A - 通过Cloudera Manager自动安装
. Path B - 使用Cloudera Manager Parcels或Packa...
分类:
其他好文 时间:
2016-06-28 13:11:08
阅读次数:
184
二、在Hadoop上实现数据仓库
(大部分翻译自《Big Data Warehousing》)
数据仓库技术出现很长时间了,现在为什么要从传统数据库工具转为使用Hadoop呢?答案就是最引人关注的流行词汇 —— 大数据。对许多组织来说,传统关系数据库已经不能够经济地处理他们所面临的数据量。而Hadoop生态圈就是为了能够廉价处理大量数据的目的应运而生的。下面看看大数据是怎么定义...
分类:
其他好文 时间:
2016-06-25 09:42:51
阅读次数:
247
工作这么多年了,从零开始学习 大数据,现在把提纲保存一下。 一、Hadoop入门,了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及 ...
分类:
其他好文 时间:
2016-06-23 16:08:41
阅读次数:
255
前言:在O2O时代,每个地图都在画自己的O2O生态圈。在这个生态圈里,代理服务商、系统架构供应商、服务提供商、金融支付供应商与消费者有机地结合在一起。 百度世界大会上,李彦宏带着新产品“度秘”又秀了一把技术帝是如何做服务的,同时,百度不出意外地将各产品布局落子O2O服务。其中,作为O2O服务入口的百 ...
分类:
其他好文 时间:
2016-06-07 06:34:00
阅读次数:
179
Docker的前世今生 Docker是基于Go语言实现的云开源项目,目前归于Apache基金会并遵循Apache 2.0协议。诞生于2013年初,前身公司为dotCloud,docker开源后得到受到社会广泛的关注,docker的生态圈体系也逐渐成熟,这家公司也改名为Docker Inc,专注于Do ...
分类:
其他好文 时间:
2016-06-05 12:26:33
阅读次数:
258
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目,速度之快足见过人之处,Spark ...
分类:
其他好文 时间:
2016-06-03 15:45:55
阅读次数:
206
经过这几年的整合与拓展,阿里旗下的云主机生态圈已经逐渐的行程,在上个月直接把一直发展挺好的万网直接取消合并到阿里云旗下的二级域名,包括老左在内的很多网友可能表示可惜,不过这些构架和布局思维是我们这些草根不能理解的,我们最终还是需要的是稳定和性价比好的产品,以及简单的过程环节。 老左一贯的建议是,如果 ...
分类:
其他好文 时间:
2016-06-01 23:00:21
阅读次数:
237
一.我为什么要学习go语言 当今已经是移动和云计算时代,Go出现在了工业向云计算转型的时刻,简单、高效、内 置并发原语和现代的标准库让Go语言尤其适合云端软件开发(毕竟它就是为此而设计的)。到2014年,Go项目拥有了上百的核心贡献者,其生态圈中拥有了数不尽的第三方库和工具(https://godo ...
分类:
编程语言 时间:
2016-06-01 09:12:01
阅读次数:
306
1、Hadoop包含一个完整的生态圈 Hive 数据仓库 HDFS 分布式文件系统 MapReduce 并行调度框架 2、MapReduce过程 Mapper和Reduce的入参和出参都是key/value 三、HDFS 1、HDFS性质 2、HDFS数据块 1、磁盘的块一般是512字节,HDFS一 ...
分类:
其他好文 时间:
2016-05-24 01:40:20
阅读次数:
189