七月在线4月机器学习算法班课程笔记——No.8
1. 统计学习基础回顾1.1 先验概率与后验概率 先验概率：根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。
后验概率：依据得到”结果”信息所计算出的最有可能是那种事件发生，如贝叶斯公式中的，是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。
贝叶斯定理：假设...
分类：
编程语言 时间：
2016-06-21 08:04:13
阅读次数：
2226
lz这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),交叉熵(cross entropy),困惑度(perplexity),互信息(mutual information)。熵 (信息论)/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。...
分类：
其他好文 时间：
2016-06-21 07:51:15
阅读次数：
568
五、Deep Learning的基本思想
假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证...
分类：
其他好文 时间：
2016-06-21 07:38:04
阅读次数：
297
1.8计算机网络性能指标 （1）速率（比特率或数据率） 比特是计算机中数据量的单位，也是信息论中使用的信息量的单位。意思是“一个二进制数字”，因此一个比特就是二进制数字中的一个1或0. 当数据率较高时，就可以用kb/s（k=10的3次方=千）,Mb/s（M=10的6次方=兆） （2）带宽 ①带宽本来 ...
分类：
其他好文 时间：
2016-06-07 01:11:47
阅读次数：
243
信息论与编码 Information Theory and coding 1.简介 以概率论为基础，注重概念理解，不过分追求数学推导 信息论创始人（C.E.Shannon）香农，美国科学家，发表《通信的数学理论》 2.信息 信号 消息 通信系统中传输的是信号，信号是消息的载体，消息中的未知成分是信息 ...
分类：
其他好文 时间：
2016-05-29 06:22:50
阅读次数：
145
之前就听说过有个叫做hash表的东西，这段时间在上信息论与编码，也接触了一些关于编码的概念，直到今天做百度之星的初赛的d题时，才第一次开始学并用hash 一开始我用的是mutimap和mutiset，先对字符串从小到大排序，再存进mutimap中，之后遍历mutimap的键，结果都超时了，代码如下： ...
分类：
其他好文 时间：
2016-05-14 18:48:41
阅读次数：
254
“贝尔实验室和MIT的很多人将香农和爱因斯坦相提并论，而其他人则认为这种对比是不公平的 对香农是不公平的”。 这是我从《机器学习实战》这本书上摘抄的一句话，对香农、爱因斯坦，无心评论，只能仰望。 读吴军博士的《硅谷之谜》，觉得先有香农，后有信息论，再有今天的信息时代。 混乱的信息是没有价值的，轻而易 ...
分类：
其他好文 时间：
2016-05-13 08:36:09
阅读次数：
208
主要讲解了贝叶斯概率与统计派概率的不同。
概率论，决策论，信息论（probability theory, decision theory, and information theory）是以后用到的三个重要工具，本节主要介绍概率论，这里的介绍还是结合前面的多项式拟合的例子讲解。...
分类：
其他好文 时间：
2016-05-06 15:58:06
阅读次数：
285
熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据指标变异性的大小来确定客观权重。 一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在 ...
分类：
其他好文 时间：
2016-04-30 01:03:04
阅读次数：
337
决策树是通过一系列规则对数据进行分类的过程，他提供一种在什么条件下会得到什么值的类似规则方法，决策树分为分类树和回归树，分类树对离散变量最决策树，回归树对连续变量做决策树如果不考虑效率等，那么样本所有特征的判断级联起来终会将某一个样本分到一个类终止块上。实际上，样本所有特征中有一些特征在分类时起到决定性作用，决策树的构造过程就是找到这些具有决定性作用的特征，根据其决定性程度来构造一个倒立的树–决定性作用最大的那个特征作为根节点，然后递归找到各分支下子数据集中次大的决定性特征，直至子数据集中所有数据都属于同一...
分类：
编程语言 时间：
2016-04-29 17:45:15
阅读次数：
259
