Hive 运行架构
由Facebook开源,最初用于解决海量结构化的日志数据统计问题:ETL工具;
构建于Hadoop的HDFS和MapReduce智商,用于管理和查询结构化/非结构化数据的数据仓库;
设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据:
使用HQL作为查询接口;
使用HDFS作为存储底层;...
分类:
其他好文 时间:
2014-08-12 19:05:44
阅读次数:
314
介绍Vertica(属 于HP公司),是一个基于DBMS架构的数据库系统,适合读密集的分析型数据库应用,比如数据仓库,白皮书中全名称为VerticaAnalytic Database。从命名中也可以看到,Vertica代表它数据存储是列式的,Analytic代表适合分析型需求,DB代表本身是数据库,...
分类:
数据库 时间:
2014-08-11 23:51:03
阅读次数:
455
本文首发自懂球帝世界杯之前,在ITPUB上翻到一篇主题讨论,关于『大数据、预测』,嗯,近两年你在互联网上几乎躲不开这几个字眼。媒体的威力不可小视,当这种95%以上业内人士都说不清道不明的概念也能在街边卖菜大婶的嘴里蹦出来的时候,你就知道,他和『小苹果』『欧巴江南style』无异了。回想起来,数据仓库...
分类:
其他好文 时间:
2014-08-11 10:05:52
阅读次数:
303
SystemCenter2012R2POC部署之ServicesManagerDataWarehouse部署1、载入安装光盘,运行安装程序,选择ServiceManager数据仓库管理服务器2、设置产品注册信息3、设置安装路径4、检查软硬件环境5、配置数据仓库数据库,输入数据库服务器,选择实例6、配置附加数据仓库数据市场,输..
分类:
其他好文 时间:
2014-08-11 03:09:32
阅读次数:
220
Vertica与传统数据库系统和其他列式数据仓库系统相比的话,在性能上有比较明显的优势,在设计上有一些异同,比较适合ad-hoc查询,OLAP类型的作业。总的来说,Vertica通过列存储减少了io开销,再加上高效的压缩手段,极大节省了磁盘空间,基于此Vertica采用多备份来保证高可用性,并且多备份又能够增强查询性能。在使用和运维角度了,Vertica自带工具帮助用户做物理表的存储,能提供标准SQL接口,也兼容现有的BI、ETL工具方便作业往Vertica上迁移,而且Vertica部署对硬件没有特殊要求,...
分类:
数据库 时间:
2014-08-11 02:58:21
阅读次数:
483
Teradata天睿公司(纽交所代码:TDC),是美国前十大上市软件公司之一。经过逾30 年的发展,Teradata天睿公司已经成为全球最大的专注于大数据分析、数据仓库和整合营销管理解决方案的供应商。其提出一种先进的FS-LDM模型(Financial Services LogcialData .....
分类:
其他好文 时间:
2014-08-10 23:56:41
阅读次数:
1159
下面内容摘自互联网并作了整理。名词:BI(Business Intelligence):商业智能,DW(Data Warehouse):数据仓库,详见正文Q1部分。OLTP(On-Line Transaction Processing):联机事务处理也称为面向交易的处理系统,其基本特征是顾客的原始数...
分类:
其他好文 时间:
2014-08-10 18:10:30
阅读次数:
274
Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。...
分类:
数据库 时间:
2014-08-10 01:50:39
阅读次数:
449
Hive是什么1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;4)允许用Java开发自...
分类:
其他好文 时间:
2014-08-09 23:10:49
阅读次数:
288
转眼已经工作快6年了,最开始做了2年J2EE;然后整了2年的数据仓库,主要是Cognos的报表开发;现在从事4G LTE核心网的开发,用的语言任然是Java,但写代码的机会不多,基本都是看代码找BUG,偶尔做点new feature也是在比较成熟的框架上复制、粘贴、修改,大部分时间还是在理解业务,钱...
分类:
编程语言 时间:
2014-08-08 01:38:05
阅读次数:
580