信息论主要是对信号所含信息的多少进行量化，其基本思想是一个不太可能发生的事情要比一个可能发生的事情提供更多的信息。 度量信息的集中常用指标有信息熵、条件熵、互信息、交叉熵。 信息熵 信息熵（entropy）简称熵，是对随机变量不确定性的度量。定义为： H(x)=∑pi*log2(pi) 用以下代码来 ...
分类：
其他好文 时间：
2019-09-16 21:48:38
阅读次数：
106
分类损失函数 一、LogLoss对数损失函数（逻辑回归，交叉熵损失） 有些人可能觉得逻辑回归的损失函数就是平方损失，其实并不是。平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到，而逻辑回归得到的并不是平方损失。在逻辑回归的推导中，它假设样本服从伯努利分布（0-1分布），然后求得满足该 ...
分类：
其他好文 时间：
2019-09-14 18:42:40
阅读次数：
374
常用的损失函数有： 1.均方误差： tf.reduce_mean(tf.square(真实值 - 预测值)) 2.自定义损失函数： 3.交叉熵：tf.nn.softmax_cross_entropy_with_logits(lables = lables, logits = logits) 通过预测 ...
分类：
其他好文 时间：
2019-09-05 18:25:35
阅读次数：
101
先挖个 图像去雾之何凯明暗通道先验去雾算法原理及c++代码实现 ICCV 2017：FAIR Mask R-CNN ICCV 2017：FAIR 密集物体检测的 Focal Loss one-stage准确度落后于 two-stage，极端前景类别失衡是主要原因 提出：通过改变标准交叉熵损失来解决这 ...
分类：
其他好文 时间：
2019-09-02 09:32:09
阅读次数：
79
目录 产生背景 工作原理 参考资料 产生背景 假设选用softmax交叉熵训练一个三分类模型，某样本经过网络最后一层的输出为向量x=(1.0, 5.0, 4.0)，对x进行softmax转换输出为： 假设该样本y=[0, 1, 0]，那损失loss: 按softmax交叉熵优化时，针对这个样本而言， ...
分类：
其他好文 时间：
2019-07-27 12:43:48
阅读次数：
130
SoftMax回归 对于MNIST中的每个图像都是零到九之间的手写数字。所以给定的图像只能有十个可能的东西。我们希望能够看到一个图像，并给出它是每个数字的概率。 例如，我们的模型可能会看到一个九分之一的图片，80％的人肯定它是一个九，但是给它一个5％的几率是八分之一（因为顶级循环），并有一点概率所有 ...
分类：
其他好文 时间：
2019-07-24 13:46:38
阅读次数：
201
在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值 这里假设在进入softmax函数之前，已经有模型输出 ...
分类：
其他好文 时间：
2019-06-22 22:28:22
阅读次数：
139
定义：表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。 均方误差 yk 是表示神经网络的输出，tk 表示监督数据，k 表示数据的维数。 代码实现 交叉熵误差 代码实现： mini-batch使用损失函数 计算损失函数时必须将所有的训练数据作为对 ...
分类：
其他好文 时间：
2019-06-21 12:34:48
阅读次数：
125
● 神经网络为啥用交叉熵。 参考回答： 通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有1000个节点，而即便是ResNet取消了全连接层，也会在最后有一个1000个节点的输出层。 一般情况 ...
分类：
编程语言 时间：
2019-06-03 21:55:40
阅读次数：
346
交叉熵公式 参考回答： 交叉熵：设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是： 在一定程度上，相对熵可以度量两个随机变量的“距离”，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大于等于0的。 互信息：两个随机变量X，Y的互信息定义为X，Y的联合分 ...
分类：
编程语言 时间：
2019-06-03 21:41:01
阅读次数：
422
