一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
简介： 本文将会讲述共享充电宝开创企业来电科技如何基于 Flink + Hologres 构建统一数据服务加速的实时数仓 作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合。 深圳来电科技有限公司（以下简称 “来电科技”）是共享充电宝行业开创企业，主要业务 ...
分类：
其他好文 时间：
2021-06-17 17:00:49
阅读次数：
0
转自：https://blog.csdn.net/pmdream/article/details/113601956 一. 各种名词解释 1.1 ODS是什么？ ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql 映射到hive，那么到了hive里面就是ods层。 ODS 全称 ...
分类：
其他好文 时间：
2021-06-10 17:32:45
阅读次数：
0
典型架构 很多的场景都是如上的，有web（包括无线、以前CS的模式、现在的BS模式等）、DB、cache、数据分析我就用了Hadoop了（代名词，或者泛指数据仓库了），另外就是一些传感器之类的，数据通道（有的简单如：jdbc等，有的比较复杂，保序不丢等），其中也简单列了一些中间件的软件。这张图组成了 ...
分类：
其他好文 时间：
2021-05-24 09:02:34
阅读次数：
0
简介： 阿里云在最新发布的 The Forrester Wave?: Cloud Data Warehouse, Q1 2021 全球云数据仓库技术评比中进入卓越表现者象限，成为国内唯一入选厂商。本文针对 Forrester 的报告，结合阿里云的以 MaxCompute 为核心的云数仓产品，做一个详 ...
分类：
其他好文 时间：
2021-05-24 04:04:54
阅读次数：
0
一、数据仓库的概念 数据仓库（Data Warehouse）简称DW或者DWH，顾名思义，就是储存数据的仓库，一般用于对过去的以及既定发生过的数据进行储存和分析。 数据仓库有个最大的特性：本身不产生数据也不会消耗数据，数据来源于各个数据源。 二、数据仓库的特征 数据仓库的特征总结下来其实只有四个字： ...
分类：
其他好文 时间：
2021-05-24 01:54:29
阅读次数：
0
杀手级特性 今年Power BI的几大杀手级特性的GA，可以让其构建完整的数据仓库/数据湖和BI分析一站式方案。 Power BI Premium Per User-超低的价格 Large datasets in Power BI Premium-内置完整的SSAS引擎 Dataflows and ...
分类：
其他好文 时间：
2021-04-28 11:52:56
阅读次数：
0
杀手级特性 今年Power BI的几大杀手级特性的GA，可以让其构建完整的数据仓库/数据湖和BI分析一站式方案。 Power BI Premium Per User-超低的价格 Large datasets in Power BI Premium-内置完整的SSAS引擎 Dataflows and ...
分类：
其他好文 时间：
2021-04-27 15:24:55
阅读次数：
0
杀手级特性 今年Power BI的几大杀手级特性的GA，可以让其构建完整的数据仓库/数据湖和BI分析一站式方案。 Power BI Premium Per User-超低的价格 Large datasets in Power BI Premium-内置完整的SSAS引擎 Dataflows and ...
分类：
其他好文 时间：
2021-04-27 15:24:15
阅读次数：
0
实时数据 →文件系统（Linux文件系统、HDFS等） →Hive 导入到hive，Load。（转成相应的hive表，导入后可直接使用HiveSQL查询） hive的内容分两部分：元数据、数据。 其中数据是存在HDFS中，元数据存在mysql中。 Hive数据仓库 Hive/mysql/HDFS关系 ...
分类：
其他好文 时间：
2021-04-26 13:27:01
阅读次数：
0
