因缘巧合手头有一本吴军博士的《数学之美》，原本打算随便翻翻，结果看了之后一发不可收拾，权且记下此刻心中所想。1、读书的过程中才觉得自己学过的数学、概率论、数理逻辑、线性代数是那么的美，没用到不代表没用2、信息论是自己之前不曾了解的知识，作者深入浅出的文章，把负责的问题用简单的方式表达出来，真的很了不...
分类：
其他好文 时间：
2015-06-15 23:38:06
阅读次数：
148
相关熵和交互信息 到目前为止，我们已经介绍了一些信息论的概念，包括熵的关键概念。我们现在开始这些想法到模式识别。考虑未知分布p（x），假设我们用近似分布q（x）为期建模。为了发送x的值到接收器，如果我们用q（x）来构造编码方案，那么指定x值所需的平均信息附加量（假设我们选择了一个高效的编码方案）由下式给出
这被称为分布p（x）和q（x）之间的相对熵或Kullback-Leibler散度或KL...
分类：
其他好文 时间：
2015-05-16 14:52:50
阅读次数：
243
信息论 在本章中，我们讨论概率论和决策论的许多概念，他们是本书随后讨论的基础。我们通过引入一些信息论领域额外的概念来结束本章，这些概念也在模式识别和机器学习技术的发展中也是很有用的。再次，我们只关注关键的概念，并建议读者参考其他地方更详细的讨论（Viterbi和Omura，1979;Couver和Thomas，1991;MacKay，2003年）。
我们首先考虑一个离散型随机变量x并问当我们...
分类：
其他好文 时间：
2015-05-15 09:11:36
阅读次数：
282
一、熵权法介绍熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。熵权法的基本思路是根据指标变异性的大小来确定客观权重。一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信息熵越...
分类：
其他好文 时间：
2015-05-11 23:29:39
阅读次数：
200
记得在本科《通信原理》的第一课，老师曾问了我们一个问题：“大家知道对通信的基本理论做出最大贡献的人是哪一位吗？”大家说了很多人名，但老师都只是摇头。最后，她说了一句：“大家说的都不对，贡献最大的是香农。”也就是在这个时候，我知道了香农，并在这门课上学习了“香农公式”。
后来，我学习了更多的有关“通信”的课程，包括：《微波技术》、《随机过程》和《信息论与编码》等。通过对这些课程的学习，我知道了“信息...
分类：
其他好文 时间：
2015-05-11 20:09:59
阅读次数：
169
机器学习--基本问题定义，任务确定和概念理解。机器学习从本质上是一个多学科的领域。它吸取了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经生物学等学科的成功。机器学习，是计算机程序通过经验来提高某任务处理性能的行为。...
分类：
其他好文 时间：
2015-05-07 18:58:09
阅读次数：
250
信息熵香农与1948年提出的信息论以其中的信息熵这一基本概念为基础，用来表征人们对客观事件的不确定性的度量，与物理学中的熵表征物质的混乱程度有相似之处。
当处理不确定事件时，最常用的方式就是用概率方式描述，一般假定不确定的事件A每种可能的状态都有一个概率与之对应：P(Ai)s.t.∑i=1nP(Ai)=1P(Ai)≥0P(A_i)\\ s.t.\sum_{i=1}^nP(A_i)=1\\P(A_i...
分类：
其他好文 时间：
2015-05-07 16:41:45
阅读次数：
167
就从P77开始记好了.(稍微扩容)P77排序.1.香农信息论基于比较的排序不可能突破O(nlogn)的复杂度限制.1) 比较一次可以得到一个bool量,最大信息熵为$\log_2{2}=1.0$bit2) 全排列的个数是$n!$级别的,唯一地确定一个全排列需要$O\left(\log_2{n!}\r...
分类：
其他好文 时间：
2015-05-02 06:16:01
阅读次数：
187
对于理工科学生来说，“熵”并不是一个陌生的名词。在诸如“大学物理”“热力学”和“信息论”等课程中都会有所介绍。但同时“熵”又是一个显得有点神秘的概念，看不见也摸不着。我最早是在高中物理课中听说的，大概是在介绍“热力学第二定律”时提到的。热力学第二定律的内容是：热力学过程是不可逆的——孤立系统自发地朝着热力学平衡方向──最大熵状态──演化。
然后真正的对这个名词有所理解是在学习《工程热力学》...
分类：
其他好文 时间：
2015-04-27 23:51:02
阅读次数：
255
在信息论中，熵被用来衡量一个随机变量出现的期望值。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大，熵是整个系统的平均消息量。 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度...
分类：
其他好文 时间：
2015-04-18 21:59:40
阅读次数：
279
