在RalphKimball和MargyRoss的《数据仓库工具包》一书中，提到了数据仓库设计中的10个常见陷阱，本文针对每个陷阱添加了一条与数据仓库设计经验有关的附加解释。在着手进行数据仓库项目之前，可以了解一下数这10个常见陷阱。这样才可以不被数据仓库设计的陷阱所困扰，避免这10个常见的陷阱可以在构建数仓的过程少走些弯路。陷阱10:过于迷恋技术和数据，而没有将重点放在业务需求和目标上。数仓归根结
分类：
其他好文 时间：
2020-08-10 09:36:23
阅读次数：
63
数据准备基本流程 数据规范化的几种方法 利用SciKit库进行数据变换 数据准备流程 数据清洗 数据集成 是什么？就是将多个数据源合并存放在一个数据仓库中 数据集成的两种架构 ETL（Extract、Transform、Load）即，（抽取、转换(合并表)、加载） 常见ETL工具（开源）：kettl ...
分类：
其他好文 时间：
2020-08-01 12:44:01
阅读次数：
91
1，简介 Hive : 数据仓库。Hive：解释器，编译器，优化器等。Hive 运行时，元数据存储在关系型数据库里面 2，架构 （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至H ...
分类：
其他好文 时间：
2020-07-30 01:33:30
阅读次数：
77
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
商业智能又称商业智慧或商务智能，简称：BI，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。一、BI软件可以连接不同各种数据库和文件的数据。无论是制作报表进行数据可视化请添加链接描述还是挖掘数据更深次的内涵，获取数据是企业进行一切数据分析的前提。数据是不断更新的，目前实际大部分企业是将数据存储在数据库中，使用数据库数据来制作报表，并且报表内容会随着数据库的
分类：
其他好文 时间：
2020-07-28 00:07:54
阅读次数：
135
国内关于Data Vault的信息很少，所以决定写点什么，纯粹都是自己在这个行业10多年的摸爬滚打。不过为了效率，尽量做到简短，直接上干货。对于各个细节大家有不同的理解欢迎来讨论。 ...
分类：
其他好文 时间：
2020-07-27 09:51:29
阅读次数：
95
概述 数据同步场景类型： 主数据库与备份数据库之间的数据备份； 主系统与子系统间的数据更新； 属于同类型不同集群数据库间的数据同步； 不同区域、不同数据库类型间的数据传输交换； 大数据系统：数据从业务系统同步进入数据仓库、数据从数据仓库同步进入数据服务或者数据应用。（本篇主讲数据从业务系统同步进入数 ...
分类：
其他好文 时间：
2020-07-26 19:27:15
阅读次数：
68
一、数据源管理功能任务分解 我们将这部分需求分解成以下几个任务： 1、新建数据源 主要功能是配置一个连接字符串，根据此连接字符串可以读取相应的数据库，即我们的数据仓库。 2、数据源列表 列出所有已建好的数据源。 3、预览数据 根据上一条，选择相应的数据源，我们可以显示该数据源下所有的 表/视图，点击 ...
分类：
Web程序 时间：
2020-07-26 01:38:11
阅读次数：
92
Smartb](https://www.smartbi.com.cn/)i是国内领先的BI厂商，产品定位于一站式大数据服务平台，对接各种业务数据库、数据仓库和大数据平台，进行加工处理、分析挖掘与可视化展现
分类：
其他好文 时间：
2020-07-24 23:52:11
阅读次数：
173
什么是Hive： 数据仓库软件，可以通过SQL读写和管理分布式存储的大型数据集，结构可以映射在已经存储的数据。用户可以通过命令行工具和JDBC连接到Hive。 Hive Commands： quit/exit：退出interactive shell reset：重置配置设定到默认值。 set =：设 ...
分类：
其他好文 时间：
2020-07-21 01:27:08
阅读次数：
119
