参考了这个博客：https://blog.csdn.net/tsyccnh/article/details/79163834 主要用于多分类、单分类任务中，计算loss，交叉熵定义如下： 其中: p是实际概率，在机器学习中通常为label值，且取值为0或则1 q是预测概率，在机器学习中通常为预测结果 ...
分类：
其他好文 时间：
2018-11-13 23:55:38
阅读次数：
201
Reference: https://blog.csdn.net/marsjhao/article/details/72630147 分类问题损失函数-交叉熵（crossentropy) 交叉熵描述的是两个概率分布之间的距离，分类中广泛使用的损失函数，公式如下 在网络中可以通过Softmax回归将前 ...
分类：
其他好文 时间：
2018-11-10 16:42:35
阅读次数：
306
Sigmoid函数又叫Logistic函数，它在机器学习领域有极其重要的地位。 目录一 函数基本性质二 Sigmoid函数与逻辑回归三 为什么要选择Sigmoid函数LR的需求选择Sigmoid是可以的Sigmoid特殊的性质为什么选择Sigmoid正态分布解释最大熵解释四 总结 一、 函数基本性质 ...
分类：
其他好文 时间：
2018-11-07 18:39:25
阅读次数：
309
一、复习信息熵 为了解决特征选择问题，找出最优特征，先要介绍一些信息论里面的概念。 1、熵（entropy） python3代码实现： 2、条件熵（conditional entropy） python3代码实现： 3、信息增益（information gain） python3代码实现： 看一个简 ...
分类：
其他好文 时间：
2018-10-28 11:14:54
阅读次数：
190
1. 信息熵 1.1 信息熵的数学本质 一个随机变量或系统所包含信息量的数学期望 1.2 信息熵的物理意义（信息论解释） 对随机变量的所有取值进行编码所需的最短编码长度 消除随机变量的不确定性所需的最短编码长度即为信息熵 1.3 随机变量X的熵： $H(X) = \sum_{i=1}^{n} P(x ...
分类：
其他好文 时间：
2018-10-27 23:32:28
阅读次数：
236
为什么交叉熵可以用于计算代价函数 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -... ...
分类：
其他好文 时间：
2018-10-26 22:05:30
阅读次数：
201
受混沌大学和李善友老师的影响，开始学习重要学科的重要理论，比如机械论，自然选择，原子论，不确定性，非连续性，熵增定律，等等。 最近学习的是熵增定律，也就是热力学第二定律（物理学），忽然想明白了一个极其重要的道理，影响人的处世态度，也影响人的自身修养：人体本质上是物质，所以人和社会的一些规律也遵循这些 ...
分类：
其他好文 时间：
2018-10-25 14:22:19
阅读次数：
449
决策树是一种很基本的分类与回归方法，但正如前面博文机器学习排序算法：RankNet to LambdaRank to LambdaMART中所讲的LambdaMART算法一样，这种最基本的算法却是很多经典、复杂、高效的机器学习算法的基础。关于什么是决策树，网上一搜就会有很多博客文章，所以本文并不想讨... ...
分类：
其他好文 时间：
2018-10-22 00:05:44
阅读次数：
290
python的随机数模块为random模块，可以产生随机的整数或浮点数。但是这是伪随机数，python解释器会维护一些种子数，然后根据算法算出随机数。linux维护了一个熵池，这个熵池收集噪音的信息，更接近真随机数。 random 1. 随机产生0 1的浮点数，不包括1 1. 随机产生a b的整数， ...
分类：
编程语言 时间：
2018-10-17 21:18:34
阅读次数：
217
决策树 优点：计算复杂度不高，输出结果易于理解，对中间值的缺少不敏感，可以处理不相关特征数据 缺点：过拟合 决策树的构造 熵：混乱程度，信息的期望值 其中p(xi)是选择分类的概率 熵就是计算所有类别所有可能值包含的信息期望值，公式如下： （公式2） 好了！懂这些就可以直接上代码了！ ...
分类：
其他好文 时间：
2018-10-16 21:55:56
阅读次数：
195
