这个问题需要从熵谈起， 根据香浓理论，熵是描述信息量的一种度量，如果某一事件发生的概率越小，也就是不确定性越大，那么熵就越大，或者说是信息量越大。 比如说，我们现实生活中，经常会有这样的场景，比如明星某薛，平时在我们这些吃瓜群众面前是一个人品极高，形象特别好，没有任何负面新闻，迷妹也是一波一波的。b ...
分类：
其他好文 时间：
2017-10-04 14:24:30
阅读次数：
365
（3）在逻辑回归中的应用。 由于交叉熵是衡量两个分布之间的相似度，在逻辑回归中，首先数据集真实的分布是p，通过逻辑回归模型预测出来的结果对应的分布是q，此时交叉熵在这里就是衡量预测结果q与真实结果p之间的差异程度，称之为交叉熵损失函数。具体如下： 假设，对应两分类的逻辑回归模型logistic re ...
分类：
其他好文 时间：
2017-10-01 16:17:29
阅读次数：
198
说明： 本文是关于http://neuralnetworksanddeeplearning.com/的相关笔记 问题一：神经元在错误的值上饱和导致学习速率的下降 解决： 1.输出层： 因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢， 可以使用交叉熵代价函数 使得在神经元犯明 ...
分类：
其他好文 时间：
2017-09-20 21:57:18
阅读次数：
131
xent_regularize, Cross Entropy Regularize nnet3/nnet-discriminative-trainning.cc:109 void NnetDiscriminativeTrainer::ProcessOutputs() 交叉熵正则化，即帧平滑 《解读深... ...
分类：
其他好文 时间：
2017-09-09 23:13:18
阅读次数：
326
文章导读： 1.交叉熵损失函数 1.1 交叉熵损失函数介绍 1.2 在MNIST数字分类上使用交叉熵损失函数 1.3 交叉熵的意义以及来历 1.4 Softmax 2. 过拟合和正则化 2.1 过拟合 2.2 正则化 2.3 为什么正则化可以减轻过拟合问题 2.4 正则化的其它方法 3. 参数初始化 ...
分类：
编程语言 时间：
2017-09-07 18:16:36
阅读次数：
878
1. 相对熵的认识 相对熵又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度（即KL散度）等。设和 是取值的两个概率概率分布，则对的相对熵为 在一定程度上，熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是 用来度量使用基于Q的 ...
分类：
其他好文 时间：
2017-08-20 19:51:17
阅读次数：
211
本文将介绍信息量，熵，交叉熵，相对熵的定义，以及它们与机器学习算法中代价函数的定义的联系。转载请保留原文链接：http://www.cnblogs.com/llhthinker/p/7287029.html 1. 信息量 信息的量化计算： 解释如下： 信息量的大小应该可以衡量事件发生的“惊讶程度”或 ...
分类：
其他好文 时间：
2017-08-04 22:57:22
阅读次数：
195
1.信息熵 2.相对熵 3.互信息 4.交叉熵及深度学习的应用 ...
分类：
其他好文 时间：
2017-07-01 20:10:18
阅读次数：
139
交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。 相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量 ...
分类：
其他好文 时间：
2017-06-27 17:01:26
阅读次数：
326
参考：莫烦。 主要是运用的ＭＬＰ。另外这里用到的是批训练： 这个代码很简单，跟上次的基本没有什么区别。 这里的lossfunction用到的是是交叉熵cross_entropy.可能网上很多形式跟这里的并不一样。 这里一段时间会另开一个栏。专门去写一些机器学习上的一些理论知识。 这里代码主要写一下如 ...
分类：
其他好文 时间：
2017-06-19 00:27:28
阅读次数：
263
