这篇文章是David MacKay利用信息论，来对快排、堆排的本质差异导致的性能差异进行的比较。 信息论是非常强大的，它并不只是一个用来分析理论最优决策的工具。 从信息论的角度来分析算法效率是一件很有趣的事，它给我们分析排序算法带来了一种新的思路。 运用了信息论的概念，我们很容易理解为什么快排的速度 ...
分类：
编程语言 时间：
2017-06-13 17:26:16
阅读次数：
224
目录 0. 前言 1. 猜数字 2. 称球 3. 排序 3.1 为什么堆排比快排慢 3.2 为什么快排其实也不是那么快 3.3 基排又为什么那么快呢 4. 信息论！信息论？ 5. 小结 0. 前言 知道这个理论是在TopLanguage上的一次讨论，先是g9转了David MacKay的一篇文章，然 ...
分类：
其他好文 时间：
2017-06-13 17:03:58
阅读次数：
250
我们不要把鸡蛋都放在一个篮子里面讲得就是最大熵原理，从投资的角度来看这就是风险最小原则。从信息论的角度来说，就是保留了最大的不确定性，也就是让熵达到了最大。最大熵院里指出，对一个随机事件的概率分布进行预测的时候，我们的预测应当满足全部的已知条件，而对于未知的情况不要做任何的主观假设（不做主观假设这点 ...
分类：
其他好文 时间：
2017-06-03 20:53:36
阅读次数：
130
http://baike.baidu.com/link?url=_FquXa6qjEaY6sXjqhOjJsE_FgFLFmTtkjdSTdlLeQVe6q7H4zSAwFAxqqhaLMXON1MdhNbxK-fqdlBGk-DLGADTpg4uog0Umwxx0gkUTkb5gCuBqglDAB ...
分类：
其他好文 时间：
2017-05-30 00:58:37
阅读次数：
370
科学、医疗实验和研究获取大量数据，渴望更有效的计算方法去组织和分析，当处理大量的有噪数据集，科学家经常使用一种计算方法寻找数据簇。Frey和Dueck提出一种新的方法找最优簇集合，他们的算法检测特殊数据点叫做exemplars，并且联系每一个点到exemplar，该exemplar能够最好的表达该数 ...
分类：
其他好文 时间：
2017-05-22 22:11:00
阅读次数：
212
在机器学习算法（如二叉树）、特征选择（互信息）中经常用到熵的概念，信息熵的概念以及介绍网上有很多，这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说，某人说的某句话信息量很大，具体在信息论中，其实指的是他说的这句话消除的不确定性多。 ...
分类：
其他好文 时间：
2017-05-17 00:43:49
阅读次数：
244
信息熵： 1. 热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 2. ；两个独立符号所产生的不确定性应等于各自不确定性之和 3. 在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。 对于当个符号，它的概率为p时，... ...
分类：
其他好文 时间：
2017-05-12 00:05:09
阅读次数：
390
1、图像识别基本流程 2、数字图像处理 一幅图像可以用一个二维函数来表示 I = f(x,y) x,y代表图像平面的坐标，I代表亮度值，当x,y,I连续时为模拟图像，反之为数字图像； 现代信息理论将图像看做二维信号，按照数字信号理论，数字图像处理可以分为空域处理和频域处理； 空域处理的对象是信号本身 ...
分类：
其他好文 时间：
2017-05-11 19:40:39
阅读次数：
151
http://baike.baidu.com/link?url=_KGl20gu8vXCP3pprEg34-iNdD7KR6445pNRU7fH-eScU8SFL8QtVM7XecAv4xS_wQikgsjszbIXro5ho3RuQ-oi5kyeZMKoLz5Q4xEZpw7 基本过程 编辑 基本 ...
分类：
其他好文 时间：
2017-05-10 14:36:48
阅读次数：
257
机器学习按数据的使用方式来说可以分为有监督学习、无监督学习、半监督学习、强化学习等，机器学习中的算法还有另外一种划分方式：分类、聚类、回归。但我更喜欢分为两种：广义的分类（分类+聚类）和回归，这里是按照预测的结果是离散数据还是连续数据来划分的。今天要介绍的决策树就是分类算法中的一种。 在介绍机器学习 ...
分类：
其他好文 时间：
2017-05-08 01:26:28
阅读次数：
228
