一、信息熵 若一个离散随机变量 \(X\) 的可能取值为 \(X = \{ x_{1}, x_{2},...,x_{n}\}\)，且对应的概率为： \[ p(x_{i}) = p(X=x_{i}) \] 那么随机变量 \(X\) 的熵定义为： \[ H(X) = -\sum_{i=1}^{n}p(x ...
分类：
其他好文 时间：
2021-06-30 18:03:09
阅读次数：
0
机器学习中，绕不开的一个概念就是熵 (Entropy)，信息熵。信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。 ...
分类：
其他好文 时间：
2021-06-06 19:49:11
阅读次数：
0
1、进化策略（ES：evolution strategy） 在一定的抽象程度上，进化方法可被视为这样一个过程：从个体构成的群体中采样并让其中成功的个体引导未来后代的分布。但是，其数学细节在生物进化方法的基础上实现了很大的抽象，我们最好将进化策略看作是一类黑箱的随机优化技术。 策略作用方式以交叉熵CE ...
分类：
编程语言 时间：
2021-06-02 15:13:50
阅读次数：
0
pi表示在信息熵部分中有介绍，如下图中介绍 选择最小的那个0.3 #整个c4.5决策树的所有算法： import numpy as np import operator def creatDataSet(): """ outlook-> 0:sunny | 1:overcast | 2:rain t ...
分类：
其他好文 时间：
2021-05-03 12:13:28
阅读次数：
0
（1）相较于线性回归，使用激活函数sigmoid函数，将结果以0-1之间呈现 （2）损失函数计算：cross-entropy交叉熵 1 import torch 2 3 #data 4 x_data = torch.Tensor([[1.0], [2.0], [3.0]]) 5 y_data = t ...
分类：
其他好文 时间：
2021-04-19 16:02:51
阅读次数：
0
目录 引言 1 背景 2 什么是最优运输？ 3 基本概念 3.1离散测度 (Discrete measures) 3.2蒙日(Monge)问题 3.3 Kantorovich Relaxation (松弛的蒙日问题) 3.4 Wasserstein距离 3.5最优运输问题初解 3.6 熵(Entro ...
分类：
其他好文 时间：
2021-03-15 10:35:23
阅读次数：
0
本文主要是对信息熵、信息增益、信息增益比和 Gini 指数的定义进行汇总，使之更加明确记忆。 信息熵和条件熵 信息熵 熵（entropy）是表示随机变量不确定的度量。设 \(X\) 是一个取有限个值的离散随机变量，其概率分布为 \(P(X=x_i) = p_i, \quad i=1, 2, ..., ...
分类：
其他好文 时间：
2021-02-19 13:40:50
阅读次数：
0
1、criterion: 特征选取标准。 默认：gini。 可选gini（基尼系数）或者entropy（信息增益）。 1.1 选择entropy，则是ID3或C4.5算法。 ID3算法原理： a 计算训练集所有样本的信息熵。 b 计算每一特征分类后的信息增益。 c 选择信息增益最大的特征进行分类，得 ...
分类：
其他好文 时间：
2021-01-06 12:02:48
阅读次数：
0
问题描述 线上环境中很容易出现一个java应用启动非常耗时的情况，在日志中可以发现是session引起的随机数问题导致的 o.a.c.util.SessionIdGeneratorBase : Creation of SecureRandom instance for session ID gene ...
分类：
编程语言 时间：
2020-12-30 11:19:11
阅读次数：
0
在我重新抱起概率统计的课本之前，我一直都不清楚似然函数为什么是那样子的，只知道照着公式敲代码（那时候还没有tensorflow），于是出过各种糗：“啊？似然函数不就是交叉熵吗？”“机器学习中的似然函数怎么看起来跟概率统计课本里的不一样呢？”“学长学长，我把这个model的输出接上交叉熵后怎么报错了？”“似然函数”名字的意义已经在以前的多篇文章中提过了，更通用的定义来说，似然函数就是衡量当前模型参数
分类：
其他好文 时间：
2020-12-29 11:50:10
阅读次数：
0
