Tensorflow模型训练时维度处理技巧 修改模型一周,调BUG半个月,特此总结: 在某一个维度为1时,用tf.reshape tf.matmul(要求两个元素维度正好相反)要求两个元素维度正好相反 和tf.multiply ( 张量1 ,张量2)要求两个元素维度一致 assign_sub():重 ...
分类:
其他好文 时间:
2021-02-05 10:33:17
阅读次数:
0
数据仓库模型几大类 数据仓库中有几种经典的数据模型:范式模型、维度模型、DataVault。 很多模型的设计都在同构化,而且在工作中也不是单独地用一种模型,会根据业务场景做出各种取舍。 一、范式模型 范式模型也叫ER模型、实体模型。 范式是数据库逻辑模型设计的基本理论,一个关系模型可以从第一范式到第 ...
分类:
其他好文 时间:
2020-09-08 20:48:16
阅读次数:
40
11月23日,上海首届中国普惠金融创新发展论坛上,维信小贷公司发布了自主研发、专门针对普惠金融及小额信贷领域的“蜂鸟”大数据金融云平台,维信理财集团首席技术官金家芳做了详细介绍和解读。 自2005年联合国与世界银行提出并推行“普惠金融”以来,虽然近几年我国小额贷款、P2P机构在普惠金融领域获得快速发 ...
分类:
其他好文 时间:
2020-01-08 13:02:56
阅读次数:
176
凡事应该尽量简单,直到不能再简单为止。想明白、完全理解以下概念是做数仓工程师的必备条件之一。 一、用于度量的事实表 1.应该尽量将来源于同一个业务过程的底层度量结果存储于一个维度模型中。 2.事实表中的每一行对应一个度量事件。每行中的数据是一个特定级别的细节数据,称为粒度。 物理世界的每一个度量事件 ...
分类:
其他好文 时间:
2019-11-23 19:54:13
阅读次数:
58
一、常用层 常用层对应于core模块,core内部定义了一系列常用的网络层,包括全连接、激活层等。 1.Dense层 Dense层:全连接层。 output_dim:大于0的整数,代表该层的输出维度。模型中非首层的全连接层其输入维度可以自动推断,因此非首层的全连接定义时不需要指定输入维度。 init ...
分类:
其他好文 时间:
2018-05-23 02:02:12
阅读次数:
256
一、度量、指标、指标器 度量和维度构成OLAP的主要概念,对于在事实表或者一个多维立方体里面存放的数值型的、连续的字段,就是度量。这符合上面的意思,有标准。一个度量字段肯定是统一单位,比如元、户数。假设一个度量字段。当中的度量值可能是欧元又有可能是美元,那这个度量没法汇总。 在OLAP中还有计算度量 ...
分类:
其他好文 时间:
2018-03-15 22:15:44
阅读次数:
243
Kimball建模方法的精髓,就是简单、使用,建模这四步骤是它的核心部分。用术语表达是:始终一致的四步设计维度模型。 一、选择业务过程 业务过程是由组织完成的一系列微观活动,例如:完成下单、完成支付、发放代金券、上线产品等等。充分理解它们,有助于辨别组织中的不同业务过程,它一般具有这些特性: 用行为 ...
分类:
其他好文 时间:
2017-07-23 12:37:46
阅读次数:
159
摘要:本文首先介绍维度模型中的维度表和事实表这2个基本构成要素的基础知识;其次,介绍设计维度模型的4个基本步骤;再次,围绕某银行为实现业务价值链数据集成的需要,介绍多维体系结构中的3个关键性概念:数据仓库总线结构、一致性维度、一致性事实。 关键词:维度表;事实表;维度模型设计过程;数据仓库总线结构; ...
分类:
其他好文 时间:
2016-09-16 11:20:06
阅读次数:
231
一、度量、指标、指标器
度量和维度构成OLAP的主要概念,对于在事实表或者一个多维立方体里面存放的数值型的、连续的字段,就是度量。这符合上面的意思,有标准,一个度量字段肯定是统一单位,例如元、户数。如果一个度量字段,其中的度量值可能是欧元又有可能是美元,那这个度量没法汇总。
在OLAP中还有计算度量的说法,用一个总费用除以用户数,得到每户平均费用。但这究竟还算不算度量了呢?这已经不是原本意义上...
分类:
其他好文 时间:
2015-08-09 10:50:04
阅读次数:
126
1、星型模型的组成一个星型模型对应一个分析主题,它由一个事实表和一组维表组成。其中事实表是星型模型的核心,由分析变量和分析维度代理键组成,分析变量存放分析事实数 据,分析维度代理键用于连接维表。维表是星型模型的外围,存放分析维度数据,由维的代理键、维的层次属性、维的描述信息组成。2、星型维度模型设计...
分类:
其他好文 时间:
2015-05-19 12:25:31
阅读次数:
109