信息熵 信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。 信息量用来度量一个信息的 ...
分类：
其他好文 时间：
2020-01-17 21:30:11
阅读次数：
86
2020.01 读完： null 正在读： 《利用Python进行数据分析 第2版》 计划读： 《高等数学 第7版 同济大学》 《Deep Learning with Python》 《信息论基础 第2版》 《概率论与数理统计 第4版 浙江大学》 ...
分类：
其他好文 时间：
2020-01-17 13:51:49
阅读次数：
78
信息熵为什么要定义成 Σp log(p)？ 再解释信息熵之前，需要先来说说什么是信息量。 信息量是对信息的度量，单位一般用bit。 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon?)对信息量的定义如下： 在解释这个公式之前，先看看下面的例子。 比如一个黑箱里有2个苹果， ...
分类：
其他好文 时间：
2020-01-07 13:25:20
阅读次数：
90
整理一下下信息论中的几种编码。 不等长编码定理 若一离散无记忆信源的熵为H(U),每个信源符号用D进制码元进行不等长编码,则一定存在一种无失真编码方法,构成唯一可译码，其平均码长满足: $$ \frac {H(U)}{\log(D)} \leq \overline{n} \leq \frac {H( ...
分类：
其他好文 时间：
2020-01-05 15:54:01
阅读次数：
501
弱典型性、强典型性 1. Weak AEP 考虑信源$\left\{X_{k}:k\ge 1\right\}$，其中$X_{k}$独立同分布，服从$p(x)$，用$X$表示一般性的变量，即任何的$X_{k}$都与$X$同分布。 Weak AEP I ： $\displaystyle \frac{1} ...
分类：
其他好文 时间：
2019-12-31 23:12:35
阅读次数：
135
信息度量 1. 独立与马尔可夫链 独立 （Independence） 对于两个随机变量$X$和$Y$，若对所有的$(x, y) \in \mathcal{X} \times \mathcal{Y}$，都有 $$ p(x, y) = p(x)p(y) $$ 则称$X$和$Y$独立，记为$X \perp ...
分类：
其他好文 时间：
2019-12-29 20:18:32
阅读次数：
87
第3章 网络安全 3.1.1 网络安全的概念 网络安全 是一个涉及~~计算机科学、网络技术、通信技术、密码技术、信息安全技术、应用数学、数论、信息论~~等的综合性领域。 网络安全包括网络硬件资源和信息资源的安全性。 网络安全包括网络硬件资源和信息资源的安全性。 网络硬件资源包括通信线路、通信设备（路 ...
分类：
其他好文 时间：
2019-12-07 21:09:15
阅读次数：
98
第三章 3.1 3.1.1 凡是涉及信息的保密性，完整性，可用性，真实性，可控性，可审查性的相关技术和理论，都是网络安全的研究领域 网络安全是一个涉及计算机课徐，网络技术，通信技术，密码技术，信息安全技术，应用数学，数论，信息论等综合性领域 网络安全包括网络硬件安全和信息资源安全 3.1.2 网络管 ...
分类：
其他好文 时间：
2019-12-02 16:41:40
阅读次数：
115
知道一堆词汇里各个字出现的概率pi，则对这些字的最优编码下各字的位长（也即每个字包含的信息）为： 香农公式：，知道各字的位长后，可依次给他们编码0、10、110... 这些字的平均编码长度为（也即信息量，或称信息熵）： 信息熵： 总结：信息是不确定性的度量，不确定性体现在概率分布上：概率分布越散，不 ...
分类：
其他好文 时间：
2019-11-26 10:47:02
阅读次数：
81
08 决策树与随机森林 决策树之信息论基础 认识决策树 1. 来源： 决策树的思想来源非常朴素，程序设计中的条件分支结构就是if then 结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。 2. 举例：是否见相亲对象 信息的度量和作用 1. 克劳德 .艾尔伍德 .香农：信息论创始人，密 ...
分类：
其他好文 时间：
2019-11-25 23:55:16
阅读次数：
89
