一.前言 在做神经网络的训练学习过程中，一开始，经常是喜欢用二次代价函数来做损失函数，因为比较通俗易懂，后面在大部分的项目实践中却很少用到二次代价函数作为损失函数，而是用交叉熵作为损失函数。为什么？一直在思考这个问题，这两者有什么区别，那个更好？下面通过数学的角度来解释下。 思考：我们希望我们损失函 ...
分类：
其他好文 时间：
2018-09-15 20:05:46
阅读次数：
468
定义一个事件 $X=x$ 的 自信息 为 $$ I(x) = \log P(x) $$ 信息熵 简称 熵 , 是表示随机变量不确定性的度量. 定义为 $$ H(X) = \mathbb{E}_{X \sim P}[I(x)] = \mathbb{E}_{X \sim P} [\log P(x)] $ ...
分类：
其他好文 时间：
2018-09-14 16:03:45
阅读次数：
168
绪论 信息论解答了通信理论中的两个基本问题：临界数据压缩（答案：熵H）和临界通信传输速率的值（答案：信道容量C） 熵 如果随机变量 X 的概率密度函数为 p(x) ,那么 X 的熵定义为 使用以2为底的对数函数，熵的量纲为比特。熵可以看作是随机变量的平均不确定度的度量。在平均意义下，它是为了描述该随 ...
分类：
其他好文 时间：
2018-09-09 16:53:22
阅读次数：
239
熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定，反之就越确定 参考链接：https://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细 ...
分类：
其他好文 时间：
2018-09-05 23:45:15
阅读次数：
202
一、熵权法介绍 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据指标变异性的大小来确定客观权重。 一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信 ...
分类：
编程语言 时间：
2018-09-05 18:04:10
阅读次数：
903
Cross-entropy Method（简称CEM）虽然是一种基于交叉熵的算法，但并不是我们熟知的监督学习中的交叉熵方法，与其说它是一种基于交叉熵的算法，倒不如说是一种基于蒙特卡洛和进化策略的算法。CEM算法不仅可以用作评估，也可以作为一种有效的优化算法，与进化算法（EAs）类似CEM是一种完全免 ...
分类：
其他好文 时间：
2018-09-01 20:24:28
阅读次数：
136
1、自信息 一件事发生的概率越大，其所带的信息量就越小，反之发生的概率越小，信息量就越大。 自信息就是以概率p(x)观察到某一事件发生所携带的信息量，自信息也是概率越大信息量就越小，也可以理解为某个概率事件进行编码所需要的最小编码长度 2、信息熵／香农熵 熵是平均自信息量， ...
分类：
其他好文 时间：
2018-08-30 21:40:04
阅读次数：
273
逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法 最大熵是概率模型学习的一个准则，被推广到分类问题后可得到最大熵模型(Maximum Entropy Model) 逻辑斯谛回归模型与最大熵模型都属于对数线性模型，而对数线性模型又是广义线性模型的一种。 科普一下：狭义的 ...
分类：
其他好文 时间：
2018-08-29 01:09:36
阅读次数：
452
背景 facebook上的广告并不是与query关联的，而是与用户的兴趣及其人口信息相关，所以相比于搜索其候选广告的体量要大的多； 级联模型：解决上述大量候选集合的问题，逐级增大计算复杂度； 实验： 评估方法： 1.归一化互信熵：y-->(-1,+1) 2.Calibration:预测点击数/观测点 ...
分类：
其他好文 时间：
2018-08-26 22:06:16
阅读次数：
204
【摘要】介绍了怎样通过信息量或熵的比较来构造一个决策树的数据挖掘算法，并且就一些特殊的地方进行了讨论分析，例如怎样处理高分枝属性、数值属性和缺失数据以及怎样剪枝．利用模型系统的一些源代码来具体地实现算法中的一些模块，并且描述了国内外的有关数据挖掘的研究情况． 【作者】 张维东 张凯 董青 孙维华 转 ...
分类：
其他好文 时间：
2018-08-23 17:01:25
阅读次数：
208
