为什么交叉熵可以用于计算代价函数 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -... ...
分类：
其他好文 时间：
2018-10-26 22:05:30
阅读次数：
201
1.基础神经网络： 输入向量ｘ，权重向量w， 偏置标量b， 激活函数sigmoid（增加非线性度） 优化手段： 梯度下降优化， BP向后传播（链式规则） 梯度下降优化： 1. 使用得目标函数是交叉熵 c = 1/nΣΣ[yj*lnaj^2 + (1-yj)*ln(1-aj^2)] yj表示得是样本标 ...
分类：
编程语言 时间：
2018-10-15 20:49:02
阅读次数：
196
信息熵 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。在没有外部环境的作用下，事物总是向着熵增大的方向发展，所以熵越大，可能性也越大。 $$ H(X)= \sum_{i=1}^np_{(i)}logp_{(i)} $$ 条件熵 X确定时，Y的不确定性度量。 在X发生是前提下，Y发生新带来的熵 ...
分类：
其他好文 时间：
2018-10-01 15:34:45
阅读次数：
272
熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
一、损失函数(loss) [前向传播的预测值y与已知答案y_的差距]： 1.优化目标：使loss达到最小值。 2.优化方法：均方误差（mse） 交叉熵（ce） 自定义 详解： 1.均方误差mse： 公式： 函数：loss_mse = tf.reduce_mean(tf.square(y_ - y)) ...
分类：
其他好文 时间：
2018-09-25 17:27:00
阅读次数：
225
一.前言 在做神经网络的训练学习过程中，一开始，经常是喜欢用二次代价函数来做损失函数，因为比较通俗易懂，后面在大部分的项目实践中却很少用到二次代价函数作为损失函数，而是用交叉熵作为损失函数。为什么？一直在思考这个问题，这两者有什么区别，那个更好？下面通过数学的角度来解释下。 思考：我们希望我们损失函 ...
分类：
其他好文 时间：
2018-09-15 20:05:46
阅读次数：
468
熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定，反之就越确定 参考链接：https://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细 ...
分类：
其他好文 时间：
2018-09-05 23:45:15
阅读次数：
202
Cross-entropy Method（简称CEM）虽然是一种基于交叉熵的算法，但并不是我们熟知的监督学习中的交叉熵方法，与其说它是一种基于交叉熵的算法，倒不如说是一种基于蒙特卡洛和进化策略的算法。CEM算法不仅可以用作评估，也可以作为一种有效的优化算法，与进化算法（EAs）类似CEM是一种完全免 ...
分类：
其他好文 时间：
2018-09-01 20:24:28
阅读次数：
136
一.交叉熵损失函数形式 现在给出三种交叉熵损失函数的形式，来思考下分别表示的的什么含义。 --式子1 --式子2 --式子3 解释下符号，m为样本的个数，C为类别个数。上面三个式子都可以作为神经网络的损失函数作为训练，那么区别是什么？ ■1》式子1，用于那些类别之间互斥(如：一张图片中只能保护猫或者 ...
分类：
其他好文 时间：
2018-08-11 20:04:14
阅读次数：
308
原来交叉熵还有一个tempature，这个tempature有如下的定义： $$ \( q_i=\frac{e^{z_i/T}}{\sum_j{e^{z_j/T}}} )\ $$ 其中T就是tempature，一般这个T取值就是1,如果提高： 也就是 Using a higher value for ...
分类：
Web程序 时间：
2018-07-11 23:28:28
阅读次数：
267
