Planar data classification with one hidden layer 你会学习到如何： 用单隐层实现一个二分类神经网络 使用一个非线性激励函数，如 tanh 计算交叉熵的损失值 实现前向传播和后向传播 用单隐层实现一个二分类神经网络 使用一个非线性激励函数，如 tanh ...
分类：
Web程序 时间：
2019-01-18 21:51:26
阅读次数：
191
softmax函数： 交叉熵： 其中指代实际的标签中第i个的值（用mnist数据举例，如果是3，那么标签是[0，0，0，1，0，0，0，0，0，0]，除了第4个值为1，其他全为0） 就是softmax的输出向量[Y1，Y2,Y3...]中，第i个元素的值 显而易见，预测越准确，结果的值越小（别忘了前 ...
分类：
其他好文 时间：
2019-01-09 11:19:39
阅读次数：
243
论文：《Focal Loss for Dense Object Detection》 Focal Loss 是何恺明设计的为了解决one-stage目标检测在训练阶段前景类和背景类极度不均衡（如1：1000）的场景的损失函数。它是由二分类交叉熵改造而来的。 标准交叉熵 其中，p是模型预测属于类别y= ...
分类：
其他好文 时间：
2019-01-04 17:22:54
阅读次数：
1132
前置知识： sigmod 函数 LR 1层神经网络 dL/dz 简称dz_，L(a,y）使用交叉熵。 da_ = dL/da = (-(y/a) + ((1-y)/(1-a))) dz_ = dL/da * da/dz = da_* g'(z) dw_ = dL/dz *dz/dw = dz* x ...
分类：
其他好文 时间：
2018-12-30 19:05:43
阅读次数：
482
在此我们以MSE作为代价函数： 其中， C表示代价 函数 ，x表示样本， y表示实际值， 表示实际值， 表示实际值， a表示输出值， 表示输出值， n表示样本的总数。为简单起见 表示样本的总数。为简单起见 表示样本的总数。 a=σ(z), z=∑W j*X j+bσ() 是激活函数 使用梯度下降法( ...
分类：
其他好文 时间：
2018-12-30 13:59:55
阅读次数：
206
交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？ 两种形式 这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样？ 因为这两个交叉熵损失函数对应不同的最后一层的输出：第一个对应的最后一层是softmax，第二个对 ...
分类：
其他好文 时间：
2018-12-24 00:12:53
阅读次数：
141
假设函数： 更为一般的表达式： （1） 似然函数： （2） 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数 （3） 对J(w)求极小值，对求导 （4） 上述中 表示第i个样本的第j个属性的取值。 于是的更新方式为： （5） 将（5）式带入（4）式 ...
分类：
编程语言 时间：
2018-12-03 01:01:55
阅读次数：
1561
一、神经网络1.为了进行梯度下降，误差函数不能是离散的，而必须是连续的。误差函数必须是可微分的。同时，要将离散预测变成连续预测，方法是将激活函数从阶跃函数变成S函数。 2.最大似然法：选出实际发生的情况所对应的概率更大的模型。 3.交叉熵(损失函数)：将得到的概率取对数，对它们的相反数进行求和。准确 ...
分类：
其他好文 时间：
2018-11-26 22:09:27
阅读次数：
260
参考了这个博客：https://blog.csdn.net/tsyccnh/article/details/79163834 主要用于多分类、单分类任务中，计算loss，交叉熵定义如下： 其中: p是实际概率，在机器学习中通常为label值，且取值为0或则1 q是预测概率，在机器学习中通常为预测结果 ...
分类：
其他好文 时间：
2018-11-13 23:55:38
阅读次数：
201
Reference: https://blog.csdn.net/marsjhao/article/details/72630147 分类问题损失函数-交叉熵（crossentropy) 交叉熵描述的是两个概率分布之间的距离，分类中广泛使用的损失函数，公式如下 在网络中可以通过Softmax回归将前 ...
分类：
其他好文 时间：
2018-11-10 16:42:35
阅读次数：
306
