背景 相较传统的重量级OLAP数据仓库，“数据湖”以其数据体量大、综合成本低、支持非结构化数据、查询灵活多变等特点，受到越来越多企业的青睐，逐渐成为了现代数据平台的核心和架构范式。 数据湖的核心功能，简单地可以分为数据存储与数据查询计算两个部分，在云端可以有多种的实现选择。在之前的文章中，我们曾介绍 ...
分类：
其他好文 时间：
2019-08-18 11:24:20
阅读次数：
105
一、数据仓库的架构 数据仓库（Data Warehouse DW）是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它的数据基于OLTP源系统。数据仓库中的数据是细节的、集成的、面向主题的，以OLAP系统的分析需求为目的。 数据仓库的架构模型包括了星型架构（图二：p ...
分类：
其他好文 时间：
2019-08-17 20:25:27
阅读次数：
115
勒索病毒日益猖獗，甲方要求服务器打补丁，更换复杂度高的密码，换完密码后，发现Analyzer页面报错 ：olap user login failed 解决办法：更换为原来的密码，登陆Analyzer,打开Analyzer 管理员页面，选择外部验证机制设定选项 更改服务器密码，在外部验证机制设定页面输 ...
分类：
其他好文 时间：
2019-08-09 20:00:25
阅读次数：
134
场景 k12在线教育公司的业务场景中，有一些业务场景需要实时统计和分析，如分析在线上课老师数量、学生数量，实时销售额，课堂崩溃率等，需要实时反应上课的质量问题，以便于对整个公司的业务情况有大致的了解。 方案对比 对比了很多解决方案，如下几种，列出来供参考。 设计方案 实时处理采用Flink SQL， ...
分类：
其他好文 时间：
2019-08-09 19:32:32
阅读次数：
465
Teradata在整体上是按Shared Nothing 架构体系进行组织的，他的定位就是大型数据仓库系统，定位比较高，他的软硬件都是NCR自己的，其他的都不识别；所以一般的企业用不起，价格很贵。由于Teradata通常被用于OLAP应用，因此单机的Teradata系统很少见，即使是单机系统，Ter ...
分类：
数据库 时间：
2019-08-09 17:31:44
阅读次数：
102
apache pinot 是一个实时的OLAP 数据存储，同时包含了自己的查询语言，因为maven 构建花费时间较大 所以使用docker-compose 运行 docker-compose 文件 version: "3.7" services: app: image: winedepot/pino ...
分类：
Web程序 时间：
2019-08-08 21:10:22
阅读次数：
194
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银 ...
分类：
其他好文 时间：
2019-07-30 21:47:54
阅读次数：
110
一、安装前准备工作1、修改主机名#vi /etc/hosts //并添加内网IP地址对应的hostname，如下127.0.0.1 localhost::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.1 ...
分类：
数据库 时间：
2019-07-26 01:43:28
阅读次数：
131
窗口函数可以进行排序，生成序列号等一般的聚合函数无法实现的高级操作。 窗口函数也称为OLAP函数，意思是对数据库数据进行实时分析处理。窗口函数就是为了实现OLAP而添加的标准SQL功能。 窗口函数语法：其中[]中的内容可以省略 使用格式： <窗口函数> over ([partition by <列清 ...
分类：
其他好文 时间：
2019-07-24 09:36:20
阅读次数：
118
数据仓库特性 ~~~ 面向主题性 集成性 非易失性 时变性 ~~~ OLTP/OLAP ~~~ OLTP：面向事务处理 注重的事务 注重响应的时间 也就是我们所说的RDBMS(关系型数据库)：比如mysql,oracle,注意和非关系型数据库（noSQL）的区分：比如redis mongodb OL ...
分类：
其他好文 时间：
2019-07-20 00:28:21
阅读次数：
113
