二次代价函数 $C = \frac{1} {2n} \sum_{x_1,...x_n} \|y(x)-a^L(x) \|^2$ 其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数；整个的意思就是把n个y-a的平方累加起来，再除以2求一下均值。 为简单起见，先看下 一个样本 ...
分类：
其他好文 时间：
2020-02-23 09:50:04
阅读次数：
230
tf.clip_by_value(p, min, max)) 运用的是交叉熵而不是二次代价函数。 功能：可以将一个张量中的数值限制在(min,max)内。（可以避免一些运算错误:可以保证在进行log运算时，不会出现log0这样的错误或者大于1的概率） 参数： p：input数据 当p小于min时，输 ...
分类：
编程语言 时间：
2020-02-18 20:57:10
阅读次数：
156
一、什么是softmax？ 有一个数组S，其元素为Si ，那么vi 的softmax值，就是该元素的指数与所有元素指数和的比值。具体公式表示为： softmax回归本质上也是一种对数据的估计 二、交叉熵损失函数 在估计损失时，尤其是概率上的损失，交叉熵损失函数更加常用。下面是交叉熵 当我们预测单个物 ...
分类：
其他好文 时间：
2020-02-13 00:30:19
阅读次数：
115
resnet的结构 f（x）=conv-》relu-》conv（x） +x 注意：pytorch的交叉熵输入是原始数据 不需要softmax resnet不能用dropout，最好用bn 将32*32*3 初始的5*5*6卷积核替换为3*3*16后，表现良好 输出：(W-Wf+2*Padding)/ ...
分类：
其他好文 时间：
2020-02-05 09:21:14
阅读次数：
70
1.MSE（均方误差） MSE是指真实值与预测值（估计值）差平方的期望，计算公式如下： MSE = 1/m (Σ(ym-y'm)2)，所得结果越大，表明预测效果越差，即y和y'相差越大 y = tf.constant([1,2,3,0,2]) y = tf.one_hot(y,depth=4) y ...
分类：
其他好文 时间：
2020-01-27 15:40:00
阅读次数：
100
信息熵 信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。 信息量用来度量一个信息的 ...
分类：
其他好文 时间：
2020-01-17 21:30:11
阅读次数：
86
`Focal Loss`是为了处理样本不平衡问题而提出的，经时间验证，在多种任务上，效果还是不错的。在理解`Focal Loss`前，需要先深刻理一下交叉熵损失，和带权重的交叉熵损失。然后我们从样本权利的角度出发，理解`Focal Loss`是如何分配样本权重的。Focal是动词Focus的形容词... ...
分类：
其他好文 时间：
2020-01-06 12:37:04
阅读次数：
299
参考：https://blog.csdn.net/b1055077005/article/details/100152102 （文中所有公式均来自该bolg，侵删） 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，我们需要寻找一个量来衡量信息的有用程度。首先要先明确，这里的 ...
分类：
其他好文 时间：
2020-01-04 12:52:48
阅读次数：
93
机器学习初步 有监督和无监督区别, 一个有标签一个无标签 机器学习的目的, 寻找一个模式 与环境进行交互, 有一个反馈 有监督分为两类问题 主要任务是分类和回归 降维也是无监督的学习 每一行是一个样本, 每一列是一个特征(属性维度) 线性回归 多变量情形 损失函数 平方损失函数 指数损失函数 交叉熵 ...
分类：
其他好文 时间：
2020-01-02 20:59:01
阅读次数：
86
