Hive的介绍和安装Hive是什么Hive是一个数据仓库，使用sql脚本就可以了
Hive包含几个引擎
解释器，编译器，优化器等接触hive首先我们进入到相应的官方文档中，接触hive的命令使用https://cwiki.apache.org/confluence/display/Hive/LanguageManual然后我们打开命令行的模式usage: hive -d,--define <ke...
分类：
其他好文 时间：
2015-06-30 18:17:49
阅读次数：
132
在当前计算机应用中，对高速并行计算的需求是广泛的，归纳起来，主要有三种类型的应用需求：
计算密集(Computer-Intensive)型应用，如大型科学工程计算与数值模拟；
数据密集(Data-Intensive)型应用，如数字图书馆、数据仓库、数据挖掘和计算可视化等；
网络密集(Network-Intensive)型应用，如协同工作、遥控和远程医疗诊断等。...
分类：
其他好文 时间：
2015-06-30 13:05:47
阅读次数：
135
一、简介Hive是基于hadoop的一个数据仓库工具，有助于查询和管理分布式存储系统中的数据集，非常适合数据仓库的统计分析Hive 不适合用于连机事物处理、也不提供实时查询，比较适合在大量不可变数据的批处理作业。二、下载与安装1、下载hive压缩包，并复制到centos系统的/opt/module目...
分类：
其他好文 时间：
2015-06-29 22:04:56
阅读次数：
193
DW/BI 系统是复杂的实体，构建这种系统的方法必须有助于简化复杂性。13 个方框显示了构建成功的数据仓库的主要任务区域，以及这些任务之间的主要依赖关系。 在生命周期这一级可以进行多方观察，首先注意业务需求定义方框的中心角色。业务需求提供了其后的3 个任务的基础，它们也影响着项目计划，因此箭头也指回...
分类：
其他好文 时间：
2015-06-28 15:32:10
阅读次数：
122
创建svn服务器1、首先安装SVN这个软件apt-getinstallsubversion2、在home目录下创建一个名为svn的文件夹（文件夹的名字随便起）mkdir/home/svn3、创建数据仓库（可以根据需要创建多个）svnadmincreate/home/svn/test4、启动svn网络...
分类：
Web程序 时间：
2015-06-27 18:05:10
阅读次数：
219
以下基于上篇Hadoop2.6集群部署：http://lizhenliang.blog.51cto.com/7876557/1661354接下来安装Hadoop数据仓库Hive，上节了解HBase简单使用，听起来HBase与Hive有些类似，概念也有点模糊，那我们先了解下他们之间有什么区别：HBase是一种分布式、面向列的NoSQL数据库，基于HDF..
分类：
其他好文 时间：
2015-06-26 15:08:58
阅读次数：
142
Spark简述Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足
于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式。
特点：
1、轻
Spark 0.6核心代码有2万行，Hadoop1.0为9万行，2.0为22万行。2、快
Spark对小数据集能达到亚秒级的廷迟，这对于Hadoop MapReduce是无法想象的（由于”心跳”间隔机制，...
分类：
其他好文 时间：
2015-06-24 21:03:48
阅读次数：
412
凡是建设数据仓库，一定会提到维度建模方法。这一方法是Kimball最先提出的，其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市。在维度建模方法体系中，维度是描述事实的角度，如日期、商品、地址等，事实是要度量的指标，如用户数、销售额等。按照一般书籍的介绍，维度建模还会分为星型模型、雪花模...
分类：
其他好文 时间：
2015-06-22 20:35:59
阅读次数：
233
这几天研究了一家美国的大数据公司1010data，它在产品白皮书中提出了新一代数据仓库的概念（NEXT-GENERATION DATA DISCOVERY），相对于第一代数据仓库，具有如下一些特征：l用户可以针对任何问题进行分析和查询，也就是说，分析系统要提供更加友好的操作体验，更加明细的数据粒度；...
分类：
其他好文 时间：
2015-06-22 19:21:02
阅读次数：
159
Ralph Kimball是数据仓库和商务智能领域的权威专家。作为一名最早的数据仓库架构师，他长期以来一直坚信数据仓库的设计必须遵循易于理解和快速反应的准则。他创立的维度建模方法论（或Kimball方法论）已经成为决策支持领域的金科玉律。相较于数据仓库的其他领先架构（Bill Inmon的架构），K...
分类：
其他好文 时间：
2015-06-22 19:15:54
阅读次数：
145
