浅谈KL散度一、第一种理解 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对... ...
分类：
其他好文 时间：
2018-01-13 15:47:07
阅读次数：
274
TensorFlow四种Cross Entropy算法实现和应用 对比两个函数tf.nn.softmax_cross_entropy_with_logits和tf.nn.sparse_softmax_cross_entropy_with_logits 从神经网络视角看均方误差与交叉熵作为损失函数时的 ...
分类：
其他好文 时间：
2018-01-12 11:29:00
阅读次数：
177
决策树之ID3算法 Content 1.ID3概念 2.信息熵 3.信息增益 Information Gain 4. ID3 bias 5. Python算法实现（待定） 一、ID3概念 ID3算法最早是由罗斯昆（J. Ross Quinlan）于1975年在悉尼大学提出的一种分类预测算法，算法的核 ...
分类：
编程语言 时间：
2018-01-10 13:55:59
阅读次数：
266
(本文是根据 "neuralnetworksanddeeplearning" 这本书的第三章 "Improving the way neural networks learn" 整理而成的读书笔记，根据个人口味做了删减) 上一章，我们学习了改善网络训练的代价函数：交叉熵函数。今天要介绍神经网络容易遇 ...
分类：
Web程序 时间：
2018-01-07 16:05:48
阅读次数：
409
对于一个随机变量x，当我们观察到它的一个具体取值时，我们得到了多少信息呢？ ...
分类：
其他好文 时间：
2017-12-17 22:12:33
阅读次数：
118
交叉熵损失： 给定两个概率分布p和q，通过q来表示p的交叉熵为： 从上述公式可以看出交叉熵函数是不对称的，即H(p,q)不等于H（q,p)。 交叉熵刻画的是两个概率分布之间的距离，它表示通过概率分布q来表示概率分布p的困难程度。所以使用交叉熵作为 神经网络的损失函数时，p代表的是正确答案，q代表的是 ...
分类：
其他好文 时间：
2017-12-16 23:17:08
阅读次数：
363
作者：匿名用户链接：https://www.zhihu.com/question/35322351/answer/67193153来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 看了一下，几乎所有的回答都只解释了“为什么可以用sigmoid”，而没有解释“为什么要用s ...
分类：
其他好文 时间：
2017-12-06 17:51:17
阅读次数：
138
最近在看深度学习的"花书" （也就是Ian Goodfellow那本了），第五章机器学习基础部分的解释很精华，对比PRML少了很多复杂的推理，比较适合闲暇的时候翻开看看。今天准备写一写很多童鞋们w未必完全理解的最大似然估计的部分。 单纯从原理上来说，最大似然估计并不是一个非常难以理解的东西。最大似然 ...
分类：
其他好文 时间：
2017-11-27 14:17:27
阅读次数：
243
统计学习方法 模型 k近邻(knn):kd树 朴素贝叶斯： 决策树： 逻辑回归与最大熵模型： SVM： CRF： ...
分类：
其他好文 时间：
2017-11-26 16:54:14
阅读次数：
136
决策树分类器就像带有终止块的流程图，终止块表示分类结果。开始处理数据集时，我们首先需要测量集合中数据的不一致性，也就是熵，然后寻找最优方案划分数据集，知道数据集中的所有数据属于同一分类。ID3算法可以用于划分标称型数据集。构建决策树时，我们通常采用递归的方法将数据集转化为决策树。一般我们并不构造新的 ...
分类：
其他好文 时间：
2017-11-02 11:20:29
阅读次数：
149
