? 众包测试中的游戏化 Mahesh Gudipati有超过10年的测试经验,参与过不少不同领域的项目。他在数据仓库/BI测试,需求预测测试,大数据测试和产品测试方面有丰富的经验。他在多个ETL/DW测试项目中实现了自动化...
分类:
其他好文 时间:
2014-08-07 13:33:20
阅读次数:
336
众包测试中的游戏化 Mahesh Gudipati有超过10年的测试经验,参与过不少不同领域的项目。他在数据仓库/BI测试,需求预测测试,大数据测试和产品测试方面有丰富的经验。他在多个ETL/DW测试项目中实现了自动化技术,并因为开发出了ETL/DW测试的端对端解决方案获得了一项专利。他是一名获P....
分类:
其他好文 时间:
2014-08-07 12:17:09
阅读次数:
338
分享一个我们做的实时数据仓库的例子。
客户是地市级烟草公司,需要实时的卷烟销售数据分析,每天的数据量约10万条,集中在4个小时内发生。
我们的处理办法是:
1、维表信息每晚处理好(客户在当天定烟的过程中,是不会去维护基础档案的内容的);
2、历史事实表数据也是每晚处理好;
3、当天的定烟数据,做一个查询业务系统数据的视图,只查询当天的数据(查询一次的时间约2-3秒);
4、将历史数据和...
分类:
其他好文 时间:
2014-08-04 17:59:27
阅读次数:
194
商业智能(BI,Business Intelligence)。SAP BI商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前,商业智能通常被理解为将企业中现有的数据转化...
分类:
其他好文 时间:
2014-07-31 13:09:16
阅读次数:
297
一、sqlserver优点:易用性、适合分布式组织的可伸缩性、用于决策支持的数据仓库功能、与许多其他服务器软件紧密关联的集成性、良好的性价比等;为数据管理与分析带来了灵活性,允许单位在快速变化的环境中从容响应,从而获得竞争优势。从数据管理和分析角度看,将原始数据转化为商业智能和充分利用Web带来的机...
分类:
数据库 时间:
2014-07-30 23:26:15
阅读次数:
361
前言hive是构建在Hadoop上的数据仓库平台,其设计目标是:使Hadoop上的数据操作与传统的SQL结合,让熟悉sql的开发人员能够轻松的像Hadoop平台迁移。Hive是Facebook的信息平台的重要组成部分,Facebook在2008年将其共献给Apache,现在Hive是Hadoop家族...
分类:
其他好文 时间:
2014-07-29 17:22:12
阅读次数:
282
接前面两篇,告诉大家一个坏消息和一个好消息:坏消息是本篇依旧环境搭建、配置准备工作,好消息是这是最后一篇。一、数据仓库注册小张下面注册数据仓库。1、在SystemCenter2012ServiceManager控制台,转至管理2、在管理概述页面,点击注册与服务管理数据仓库3、在开始之前页面..
分类:
其他好文 时间:
2014-07-26 15:34:19
阅读次数:
267
数据仓库可以作为数据挖掘和OLAP等分析工具的资料来源,由于存放于数据仓库中的资料,必需经过筛选与转换,因此可以避免分析工具使用错误的资料,而得到不正确的分析结果。数据挖掘和OLAP同为分析工具,其差别在于OLAP提供用户一便利的多维度观点和方法,以有效率的对数据进行复杂的查询动作,其预设查询条件由...
分类:
其他好文 时间:
2014-07-22 22:46:53
阅读次数:
248
对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库,注意这里不是数据库。Hive可以看作是用户编程...
分类:
其他好文 时间:
2014-07-22 22:45:54
阅读次数:
257
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据...
分类:
其他好文 时间:
2014-07-22 00:20:35
阅读次数:
252