一、信息熵 若一个离散随机变量 \(X\) 的可能取值为 \(X = \{ x_{1}, x_{2},...,x_{n}\}\)，且对应的概率为： \[ p(x_{i}) = p(X=x_{i}) \] 那么随机变量 \(X\) 的熵定义为： \[ H(X) = -\sum_{i=1}^{n}p(x ...
分类：
其他好文 时间：
2021-06-30 18:03:09
阅读次数：
0
1、进化策略（ES：evolution strategy） 在一定的抽象程度上，进化方法可被视为这样一个过程：从个体构成的群体中采样并让其中成功的个体引导未来后代的分布。但是，其数学细节在生物进化方法的基础上实现了很大的抽象，我们最好将进化策略看作是一类黑箱的随机优化技术。 策略作用方式以交叉熵CE ...
分类：
编程语言 时间：
2021-06-02 15:13:50
阅读次数：
0
（1）相较于线性回归，使用激活函数sigmoid函数，将结果以0-1之间呈现 （2）损失函数计算：cross-entropy交叉熵 1 import torch 2 3 #data 4 x_data = torch.Tensor([[1.0], [2.0], [3.0]]) 5 y_data = t ...
分类：
其他好文 时间：
2021-04-19 16:02:51
阅读次数：
0
在我重新抱起概率统计的课本之前，我一直都不清楚似然函数为什么是那样子的，只知道照着公式敲代码（那时候还没有tensorflow），于是出过各种糗：“啊？似然函数不就是交叉熵吗？”“机器学习中的似然函数怎么看起来跟概率统计课本里的不一样呢？”“学长学长，我把这个model的输出接上交叉熵后怎么报错了？”“似然函数”名字的意义已经在以前的多篇文章中提过了，更通用的定义来说，似然函数就是衡量当前模型参数
分类：
其他好文 时间：
2020-12-29 11:50:10
阅读次数：
0
梯度下降推导与优化算法的理解和Python实现目录梯度下降算法推导优化算法的理解和Python实现SGDMomentumNestrovAdaGradRMSpropAdam算法的表现1梯度下降算法推导模型的算法就是为了通过模型学习，使得训练集的输入获得的实际输出与理想输出尽可能相近。极大似然函数的本质就是衡量在某个参数下，样本整体估计和真实情况一样的概率，交叉熵函数的本质是衡量样本预测值与真实值之间
分类：
编程语言 时间：
2020-12-19 12:30:58
阅读次数：
5
均方误差个交叉熵误差都是常用的损失函数之一。 首先简要介绍下损失函数： 损失函数是用来表示神经网络性能的“恶劣程度”的指标。即当前神经网络对监督数据在多大程度上不拟合，在多大 程度上不一致。说白了，即所创建的神经网络对输入数据的预测输出值与监督数据(实际输出值)的差距。 均方误差： 上面是计算公式， ...
分类：
其他好文 时间：
2020-12-11 12:25:24
阅读次数：
3
Intro 交叉熵，用来衡量两个随机变量之间的相似度。 KL散度（相对熵），量化两种概率分布P和Q之间差异。 计算公式 交叉熵 \(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\) KL散度 \(D_{ ...
分类：
其他好文 时间：
2020-12-10 10:51:19
阅读次数：
3
Softmax softmax可以将经交叉熵损失函数的输出都映射到 0 到 1 间，且各分类累和为 1。符合概率分布。 假设共有 n 个输出 [Z1,...,Zn]，对第 i 个元素 Zi 的softmax的计算公式：Si = ezi / sum(ezn) softmax的反向传播求导过程 http ...
分类：
其他好文 时间：
2020-07-15 23:12:01
阅读次数：
195
Tensorflow一般经过三阶段的模式函数操作： 模型 inference()阶段：尽可能构建好图表（graph），满足促使神经网络向前反馈并做出相应的预测要求； 策略 loss()阶段：往inference图表中添加生成损失（loss）所需要的操作（ops），如交叉熵损失，正则化损失； 算法 t ...
分类：
其他好文 时间：
2020-07-14 21:50:43
阅读次数：
63
交叉熵损失函数 交叉熵的几种表达形式 Binary CrossEntropy Categorical CrossEntropy 对数似然函数与交叉熵的关系 均方误差与交叉熵误差(sigmoid为激活函数) 均方误差(MSE)与梯度更新 交叉熵误差与梯度更新 对比与结论 多分类交叉熵函数的梯度更新(s ...
分类：
其他好文 时间：
2020-07-08 19:48:06
阅读次数：
99
