"一、Hive概念" "二、为什么要是用Hive" "三、Hive优缺点" "四、hive架构" 一、Hive概念 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的,是建立在Hadoop上的数据仓库基础架构。作为Hadoopd的一个数据仓库的工具, ...
分类:
其他好文 时间:
2019-02-28 00:58:01
阅读次数:
134
OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银 ...
分类:
其他好文 时间:
2019-02-02 14:23:43
阅读次数:
174
1、测试环境准备[oracle@redhat3 ~]$ uname -aLinux redhat3 2.6.32-573.el6.x86_64 #1 SMP Wed Jul 1 18:23:37 EDT 2015 x86_64 x86_64 x86_64 GNU/Linux[oracle@redha ...
分类:
系统相关 时间:
2019-01-24 16:26:44
阅读次数:
183
纵观任何一家大数据平台的技术架构,总少不了ElasticSearch;ES作为溶合了后端存储、快速检索、OLAP分析等功能的一套开源组件,更绝的是提供了一套集数据采集与前端展现为一体的框架(即ELK), 在我们的应用过程中,与ES集成的前端框架包含有Kibana、Grafana等系统,实际应用过程中 ...
分类:
其他好文 时间:
2019-01-23 17:33:14
阅读次数:
1039
SQL 百万级数据提高查询速度的方法 1.应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。3.应尽量避免在 where 子句中对字段进行 null ...
分类:
数据库 时间:
2019-01-20 00:56:36
阅读次数:
226
在介绍 HBase 是不是列式存储数据库之前,我们先来了解一下什么是行式数据库和列式数据库。 行式数据库和列式数据库 在维基百科里面,对行式数据库和列式数据库的定义为:列式数据库是以列相关存储架构进行数据存储的数据库,主要适合于批量数据处理(OLAP)和即时查询。相对应的是行式数据库,数据以行相关的 ...
分类:
数据库 时间:
2019-01-11 18:05:34
阅读次数:
396
我们知道 当今的数据处理大致可分为两大类 联机事务处理 OLTP (on-line transaction processing) 以及联机分析处理 OLAP (On-Line Analytical Processing) OLTP 是传统关系型数据库的主要应用 用来执行一些基本的、日常的事务处理 ...
分类:
数据库 时间:
2018-12-30 02:59:47
阅读次数:
301
一.Kylin的概述 官方网址:http://kylin.apache.org/cn/ Apache Kylin?是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询 ...
分类:
其他好文 时间:
2018-12-24 02:36:24
阅读次数:
155
OLTP与OLAP的介绍 数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银 ...
分类:
其他好文 时间:
2018-12-20 10:31:10
阅读次数:
261
在大数据时代,一切数据都可以通过软件智能分析出对企业有效的分析报告。BI就是商业智能的意思,他是一整套完整的解决方案,用于企业,将企业中已有数据做有效整合,快速准确的提供分析报表提供决策依据,帮助企业做出明智的战略规划。系统主要由三层构成:1.数据抽取层即传统的ETL2.数据分析层,即传统的数据仓库3.数据展示层,即传统的OLAP。BI大数据系统是一种提供给使用者对数据进行分析的工具,它具有强大的
分类:
其他好文 时间:
2018-12-19 17:59:45
阅读次数:
253