Memcached VS Redis 问题：memcached 与 redis 哪个好？ 答：这个问题它依赖与工程类别和它的数据。 1.它们都是内存 key/value 类型的高速与高可用的查询表。 2.它们都是集群。 3.它们都是为大项目提供内存对象而不需要去访问数据仓库。 4.访问它...
分类：
系统相关 时间：
2015-06-20 18:18:14
阅读次数：
191
通常，数据仓库环境中两种受监控的操作成分是存储于数据仓库中的数据和数据的使用。监控数据仓库环境中的数据是管理数据仓库环境的基本能力。通过监控数据仓库环境中的数据能取得一些重要信息，包括： ■ 识别发生了什么增长，增长发生在什么地方，增长以什么速率发生 ■ 识别正在使用什么数据。 ■ 估算最终用户得到...
分类：
其他好文 时间：
2015-06-20 17:03:34
阅读次数：
102
我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapRe.....
分类：
其他好文 时间：
2015-06-15 20:17:33
阅读次数：
150
今天起床刷牙时脑子突然冒出来，虽然现在不搞这块但好的东西应该记录下来1.瓶颈存在优化a)将分析时间打散b)每次数据入库/数据收集时立刻分析c)将变更的结果存储入库d)将结果缓存起来,查询时优先查缓存->数据仓库->创建数据实例e)新统计任务补过去数据时，在CPU低峰期异步执行f)将分析过的数据设置已...
分类：
其他好文 时间：
2015-06-15 12:53:09
阅读次数：
77
一、杂项维度在维度建模的数据仓库中，有一种维度叫Junk Dimension，中文一般翻译为“杂项维度”。杂项维度是由操作系统中的指示符或者标志字段组合而成，一般不在一致性维度之列。在操作系统中，我们定义好各种维度后，通常还会剩下一些在小范围内取离散值的指示符或者标志字段。例如：支付类型字段，包括现...
分类：
其他好文 时间：
2015-06-15 11:10:16
阅读次数：
146
1.Hive
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。
本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。...
分类：
其他好文 时间：
2015-06-15 00:18:25
阅读次数：
98
Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive有三种运行模式：
1.内嵌模式：将元数据保存在本地内嵌的Der...
分类：
其他好文 时间：
2015-06-14 20:02:20
阅读次数：
227
导读：ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。关键词：ETL数据仓库OLTPOLAP ETL，Extraction-Transformation-....
分类：
其他好文 时间：
2015-06-14 18:08:12
阅读次数：
163
ETL和Kettle简介ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有：滥...
分类：
其他好文 时间：
2015-06-13 12:41:37
阅读次数：
262
之前主要研究oracle与mysql，觉得hive其实就是一种数据仓库的框架，也没有太多另类，所以主要精力都在研究hadoop，hbase，sqoop，mahout，最近稍微用心看了下hive，其实hive还是比我想象中好用的多，心里有点点暗爽，不论是与hadoop的衔接，还是在对外查询分析，定期hsql生成报表方面，都非常方便，可以不用mapreduce，直接用hive生成报表。真是方便。
...
分类：
其他好文 时间：
2015-06-12 14:55:19
阅读次数：
189
