Hive 学习记录Hive介绍：Hive 是起源于Facebook，使得Hadoop进行SQL查询成为可能，进而使得非程序员也可以进进行对其使用；它是一种数据仓库工具，将结构化的数据文件 映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务运行。其优点是学习....
分类：
其他好文 时间：
2015-07-14 22:11:38
阅读次数：
218
what is hive？
Hive 是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据的提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类SQL查询语言，称为 HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu...
分类：
其他好文 时间：
2015-07-13 18:44:28
阅读次数：
287
背景论文 Brighthouse: AnAnalytic Data Warehouse for Ad-hoc Queries。VLDB 2008brighthouse它是一个面向列的数据仓库。在数据存储和压缩柱而言，压缩比达到10：1。其核心Knowledge Grid（知识网格）层，即一个能自己主...
分类：
其他好文 时间：
2015-07-12 14:10:06
阅读次数：
121
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
记录会比较杂，在家做好测试方便到公司直接运用。另转载请注明出处，尊重知识产权是每一个IT从业者的基本素质。...
分类：
Web程序 时间：
2015-07-10 07:06:52
阅读次数：
145
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)ETL贯穿其各个环节。?一、数据抽取： 可以理解为是把源数据的数据抽取到O...
分类：
其他好文 时间：
2015-07-08 00:13:54
阅读次数：
222
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目，拥有着庞大的社区支持（活跃开发者人数已超过Ha...
分类：
其他好文 时间：
2015-07-06 19:18:38
阅读次数：
142
1.B树索引 在Oracle中是通用索引，是创建索引时的默认索引。B树索引可以是单列索引，也可以是组合/复合索引。B树索引最多可以包括22列。2.位图索引 位图索引时决策支持系统（DSS）和数据仓库的理想选择，它们不应该用于事务处理应用程序中的表。 在数据量非常大的表上的技术（不同值的数量）不...
分类：
其他好文 时间：
2015-07-03 15:43:24
阅读次数：
131
SSIS是Microsoft SQL Server Integration Services的简称，是生成高性能数据集成解决方案（包括数据仓库的提取、转换和加载 (ETL) 包）的平台。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extrac...
分类：
其他好文 时间：
2015-07-03 11:49:21
阅读次数：
123
最近做了一个项目，把整个数据仓库平台下所有的表和索引都改成页级别的数据压缩。昨天发现测试环境下的某个workload跑得比平时慢。最后我们定位了到这个workload做的事情中可能造成性能下降的地方，其实也就是定位到某条SQL语句。这条语句是一条MERGE语句。我们通过复制出另外两张表（MERGE语...
分类：
数据库 时间：
2015-07-01 21:53:33
阅读次数：
196
