0 背景 在这之前大家在训练GAN的时候，使用的loss函数都是sigmoid_cross_entropy_loss函数，然而xudon mao等人发现当使用伪造样本去更新生成器（且此时伪造样本也被判别器判为对的时候）会导致梯度消失的问题。虽然此时伪造样本仍然离真实样本分布距离还挺远。也就是之前的损 ...
分类：
Web程序 时间：
2018-02-25 00:08:02
阅读次数：
210
（本节课各种数学式子比较多。。。。。^_^） 决策树 Decision Tree? 介绍? 熵 Entropy? 信息增益 Information Gain? 常见算法? 过度拟合 Overfitting? 剪枝 Prune? 增益率 GainRatio? 更多的DT应?场景类别：? 连续函数，多分 ...
分类：
其他好文 时间：
2018-02-19 14:21:19
阅读次数：
193
1.从方差代价函数说起（Quadratic cost） 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。 在训练神经网络过程中 ...
分类：
其他好文 时间：
2018-02-15 17:35:17
阅读次数：
188
训练模型，生成树图 gini entropy 计算 importance，比较和模型生成权重的一致性 总结 计算特征 对不存度减少的贡献，同时考虑 节点的样本量 对于某节点计算（**criterion可为gini或entropy**） 父节点 有样本量$n_0$，criterion为${c}_0$ ...
分类：
其他好文 时间：
2018-02-11 12:23:40
阅读次数：
960
名称 entropy_gray - 确定图像的熵和各向异性。 用法 entropy_gray(Regions, Image : : : Entropy, Anisotropy) 描述 算子entropy_gray创建输入图像中灰度值的相对频率的直方图，并根据以下公式从这些频率计算来自区域的每个区域的 ...
分类：
其他好文 时间：
2018-01-30 12:12:17
阅读次数：
182
tf.contrib模块 tf.contrib 模块是一个比较复杂的模块。 contrib细节： tf.contrib.bayesflow.entropy 香农信息论 tf.contrib.bayesflow.monte_carlo Monte Carlo integration 蒙特卡洛积分 tf ...
分类：
其他好文 时间：
2018-01-13 18:58:20
阅读次数：
1137
在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子 ...
分类：
其他好文 时间：
2018-01-13 16:55:36
阅读次数：
1323
浅谈KL散度一、第一种理解 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对... ...
分类：
其他好文 时间：
2018-01-13 15:47:07
阅读次数：
274
TensorFlow四种Cross Entropy算法实现和应用 对比两个函数tf.nn.softmax_cross_entropy_with_logits和tf.nn.sparse_softmax_cross_entropy_with_logits 从神经网络视角看均方误差与交叉熵作为损失函数时的 ...
分类：
其他好文 时间：
2018-01-12 11:29:00
阅读次数：
177
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，sof ...
分类：
其他好文 时间：
2018-01-04 12:26:27
阅读次数：
180
