"我们只是大佬的搬运工" 1、log loss 2、WBE loss 带权重的交叉熵 3、Focal loss 容易过拟合？不知why 4、DIce loss 对于肿块太小的梯度容易变化剧烈 5、IOU loss 6、Tversky loss 7、敏感性 特异性损失 8、Generalized Di ...
分类：
其他好文 时间：
2019-05-22 19:02:17
阅读次数：
101
损失函数的基本用法： 得到的loss结果已经对mini-batch数量取了平均值 1.BCELoss(二分类) 创建一个衡量目标和输出之间二进制交叉熵的criterion unreduced loss函数(即reduction参数设置为'none')为： N表示batch size，xn为输出，yn ...
分类：
其他好文 时间：
2019-05-14 19:23:36
阅读次数：
284
第十九节逻辑回归之优化点(4) 上一节中我们讲解了逻辑回归导函数求解的问题，一步步推导出交叉熵损失函数的梯度。很是不容易，这节中我们一起看下逻辑回归的优化有哪些点？ 第一点关于逻辑回归优化：和多元性回归是一模一样。要不要设置w0？比如下图： ? 之前说多元性回归是做拟合，假如现在要分类的话，我们知道 ...
分类：
其他好文 时间：
2019-05-01 12:06:11
阅读次数：
150
第十八节逻辑回归之交叉熵损失函数梯度求解过程(3) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我 ...
分类：
其他好文 时间：
2019-04-30 19:51:12
阅读次数：
121
学而不思则罔，思而不学则怠。 最近在看《TensorFlow 实战Google深度学习框架第二版》这本书。从头开始学习深度学习，对于细节方面进行探究。相当于重新拾起来这门”手艺“。 这篇随笔重点是交叉熵。在本书中出现的位置是62页，章节是3.4.5完整神经网络样例程序的20行附近（可能空行不一致）， ...
分类：
其他好文 时间：
2019-04-29 12:42:36
阅读次数：
121
paper url: https://arxiv.org/pdf/1612.02295year:2017## Introduction交叉熵损失与softmax一起使用可以说是CNN中最常用的监督组件之一。 尽管该组件简单而且性能出色, 但是它只要求特征的可分性, 没有明确鼓励网络学习到的特征具有类... ...
分类：
Web程序 时间：
2019-04-29 11:01:11
阅读次数：
856
转自：https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用 ...
分类：
其他好文 时间：
2019-04-18 00:45:09
阅读次数：
983
机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系，查了一些资料发现优化这3个东西其实是等价的。 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义。信息论认为： 确定的事件没有信息，随机事件包含最多的信息。 事件信息的定义为：$I(x) ...
分类：
其他好文 时间：
2019-03-13 18:02:58
阅读次数：
265
Keras 文档http://keras.io 使用GPU加速模型训练： 训练深度神经网络的一些策略，用于提升模型精确度 1）选择合适的代价函数loss：MSE （Mean Squared Error）均方误差，Cross Entropy交叉熵。当输出层为softmax层时，选择交叉熵代价函数更为科 ...
分类：
其他好文 时间：
2019-02-03 18:24:02
阅读次数：
340
为了有效地同时解决样本类别不均衡和苦难样本的问题，何凯明和RGB以二分类交叉熵为例提出了一种新的Loss Focal loss 原始的二分类交叉熵形式如下： Focal Loss形式如下： 上式中，相对于原始的二分类交叉熵加入了两个量：1、modulating factor：（其中幂称为focusi ...
分类：
其他好文 时间：
2019-01-29 18:20:55
阅读次数：
140
