一、什么是softmax？ 有一个数组S，其元素为Si ，那么vi 的softmax值，就是该元素的指数与所有元素指数和的比值。具体公式表示为： softmax回归本质上也是一种对数据的估计 二、交叉熵损失函数 在估计损失时，尤其是概率上的损失，交叉熵损失函数更加常用。下面是交叉熵 当我们预测单个物 ...
分类：
其他好文 时间：
2020-02-13 00:30:19
阅读次数：
115
很简单的一个问题，当softmax的变量过大或过小怎么办，比如 softmax([100,101,102])的结果是什么？ 有一个方法计算上溢的情况，也就是每个变量都减去最大值，然后做softmax， 所以softmax([100,101,102])和softmax([-2,-1,0])是一样的结果 ...
分类：
其他好文 时间：
2020-02-12 16:45:25
阅读次数：
85
卷积神经网络 整体结构 全连接层:相邻层的所有神经元之间都有连接 CNN的结构 Convolution层 ReLU层 Pooling层 靠近输出的层中使用了"Affine ReLU"组合 最后的输出层中使用了"Affine Softmax"组合 卷积层 全连接层存在的问题 数据的形状被忽视:图像向全 ...
分类：
其他好文 时间：
2020-02-05 18:03:02
阅读次数：
108
resnet的结构 f（x）=conv-》relu-》conv（x） +x 注意：pytorch的交叉熵输入是原始数据 不需要softmax resnet不能用dropout，最好用bn 将32*32*3 初始的5*5*6卷积核替换为3*3*16后，表现良好 输出：(W-Wf+2*Padding)/ ...
分类：
其他好文 时间：
2020-02-05 09:21:14
阅读次数：
70
1. softmax 损失函数：归一化指数函数，可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中，使每一个元素的范围在(0,1)之间，并且所有元素的和为1。 softmax loss包含三个部分：指数化、归一化、取-log(x) ①指数化：是指将一个样本中各个分类的得分指数化，使得各分类的得 ...
分类：
其他好文 时间：
2020-01-22 23:57:32
阅读次数：
245
?卷积神经网络这个词，应该在你开始学习人工智能不久后就听过了，那究竟什么叫卷积神经网络，今天我们就聊一聊这个问题。 不用思考，左右两张图就是两只可爱的小狗狗，但是两张图中小狗狗所处的位置是不同的，左侧图片小狗在图片的左侧，右侧图片小狗在图片的右下方，这样如果去用图片特征识别出来的结果，两张图的特征很 ...
分类：
其他好文 时间：
2020-01-21 19:49:54
阅读次数：
59
tf.nn.softmax( logits, axis = None, name = None dim = None ) 作用：softmax函数的作用就是归一化。 输入：全连接层（往往是模型的最后一层）的值，一般代码中叫做logits 输出：归一化的值，含义是属于该位置的概率，一般代码叫做prob ...
分类：
其他好文 时间：
2020-01-20 18:53:26
阅读次数：
276
sigmoid与softmax sigmoid与softmax可以神经网络的输出单元。 原理 sigmoid 预测二值型变量$y$的值，定义如下： $$\hat{y}= \sigma( \omega^{T}h+b)=\frac{1}{1+exp{-( \omega^ {T}h+b)}}$$ 通常使用 ...
分类：
其他好文 时间：
2020-01-09 00:58:35
阅读次数：
145
前言 在 "上一讲" 中，我们通过分析选用了softmax模型，并用tf创建之。本讲的内容就是为了训练这个模型以便于测试。 训练模型 为了训练我们的模型，我们首先需要定义一个指标来评估这个模型是好的。其实，在机器学习，我们通常定义指标来表示一个模型是坏的，这个指标称为成本（cost）或损失（loss ...
分类：
其他好文 时间：
2020-01-07 00:54:44
阅读次数：
75
Softmax回归介绍 我们知道MNIST的每一张图片都表示一个数字，从0到9。我们希望得到给定图片代表每个数字的概率。比如说，我们的模型可能推测一张包含9的图片代表数字9的概率是80%但是判断它是8的概率是5%（因为8和9都有上半部分的小圆），然后给予它代表其他数字的概率更小的值。 这是一个使用s ...
分类：
其他好文 时间：
2020-01-06 00:00:34
阅读次数：
89
