机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系，查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为： 确定的事件没有信息，随机事件包含最多的信息。 事件信息的定义为：$I(x) ...
分类：
其他好文 时间：
2019-03-13 18:02:58
阅读次数：
265
结构信息论—结构信息度量 李昂生教授 网络空间大数据信息处理的高效算法要求满足高精度和快速两个主要指标。快速容易理解，高精度一直是一个难题，原因在于我们常常不知道要优化的目标是什么。现实世界的大数据空间是客观世界生成的对象（对象是有结构的，往往可以看成一个图），是有规律的，也有噪音和随机性，我们知道 ...
分类：
其他好文 时间：
2019-03-12 21:18:20
阅读次数：
256
[TOC] 信息和熵 ? 飞翔的猪o 说明：本文是作者在看了weixin公众号【超智能体】录制的学习视频后的总结，有需要请移步公众号【超智能体】，利益无关，良心推荐。大多数教材都将信息和熵混为一谈，统称为信息熵，这其实是不恰当的，因而有了这篇文章的诞生。 定义熵和信息 定义熵之前，首先说明什么是宏观 ...
分类：
其他好文 时间：
2019-03-08 22:06:02
阅读次数：
290
一、组织与管理的基本概念 （1）组织 任何社会都是一个组织的社会，尤其是现代社会更是如此。人们的生活不是彼此互不相干的，而是充满了人与人之间各种形式的交往互动，这就是我们通常所说的“社会生活”。 （2）组织的定义 在广义上，组织是指很多要素按照一定方式相互联系起来的一个系统。系统论、控制论、信息论、 ...
分类：
其他好文 时间：
2019-02-09 00:51:35
阅读次数：
282
转自：http://www.cnblogs.com/hxsyl/p/4910218.html 一、第一种理解 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息 ...
分类：
其他好文 时间：
2019-01-24 00:26:40
阅读次数：
151
这两篇文章（上，下）已经总结得很好了 http://www.cnblogs.com/pinard/p/6050306.html https://www.cnblogs.com/pinard/p/6053344.html 1. 数学基础 1.信息论的信息熵：Entropy 2.基尼不纯度：Gini i ...
分类：
编程语言 时间：
2018-12-26 15:53:58
阅读次数：
183
一、熵权法介绍 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据各个特征和它对应的值的变异性的大小来确定客观权重。 一般来说，若某个特征的信息熵越小，表明该特征的值得变异（对整体的影响）程度越大，提供的信息量越多，在综合评价中所能起到 的作用也 ...
分类：
编程语言 时间：
2018-12-25 20:28:15
阅读次数：
297
一、信息论基础 （1）熵 信息熵即信息的期望值，熵是用来度量随机变量的不确定性。数学公式表达如下： 其中负号是用来保证信息量是正数或者零。H(X)就被称为随机变量x的熵，它是对所有可能发生的事件产生的信息量的期望。从公式可以得出结论：随机变量的取值个数越多，状态数也就越多，信息熵就越大，不确定性就越 ...
分类：
其他好文 时间：
2018-12-24 00:16:58
阅读次数：
267
IA-32指令解析详解 0x00 前言 这段时间忙于考试，信息论和最优化，还有算法分析，有点让人头大。期间花了几天看SEH机制，能明白个大概，但是对于VC++对于SHE的包装似乎还是不是很明白，发现逆向工程核心原理对于这段写的太简单，至于加密与解密则是模棱两可，软件加密技术内幕倒是详解了，可是太老了 ...
分类：
其他好文 时间：
2018-12-15 21:12:33
阅读次数：
495
定义 熵是从整个集合的统计特性所考虑的 表示信源输出前信源的平均不确定性 表示信源输出后每个符号携带的平均信息 I(p)只能表示信源中每个符号的信息量，不能作为信源总体的信息量 公式: H(x) = E(log 1/p(ai)) = -∑p(ai) log p(ai) 自信息 发出的消息所携带的信息 ...
分类：
其他好文 时间：
2018-12-06 12:05:24
阅读次数：
307
