softmax求导 softmax层的输出为 其中，表示第L层第j个神经元的输入，表示第L层第j个神经元的输出，e表示自然常数。 现在求对的导数， 如果j=i， 1 如果ji， 2 cross-entropy求导 loss function为 对softmax层的输入求导，如下 label smoo ...
分类：
其他好文 时间：
2019-07-08 13:56:22
阅读次数：
110
在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值 这里假设在进入softmax函数之前，已经有模型输出 ...
分类：
其他好文 时间：
2019-06-22 22:28:22
阅读次数：
139
前面一篇博客讲解了softmax函数，下面讲解一下这个代码的意思： 具体的执行流程大概分为两步： 1 第一步是先对网络最后一层的输出做一个softmax，这一步通常是求取输出属于某一类的概率，对于单样本而言，输出就是一个num_classes大小的向量（[Y1，Y2,Y3...]其中Y1，Y2，Y3 ...
分类：
其他好文 时间：
2019-06-06 15:28:11
阅读次数：
130
title: why batch norm work 没太理解 title: softmax regression 多分类问题，输出层变成一个n维向量，有几个类就几维，每一个元素对应属于这个类的概率 softmax激活函数，挺简单的啊 softmax这一层，本身是划分线性边界的 title: dee ...
分类：
其他好文 时间：
2019-06-04 17:46:40
阅读次数：
113
● bagging和boosting的区别 参考回答： Bagging是从训练集中进行子抽样组成每个基模型所需要的子训练集,然后对所有基模型预测的结果进行综合操作产生最终的预测结果。 Boosting中基模型按次序进行训练,而基模型的训练集按照某种策略每次都进行一定的转化,最后以一定的方式将基分类器 ...
分类：
编程语言 时间：
2019-06-03 21:52:50
阅读次数：
156
首先Hierarchical Softmax是word2vec的一种改进方式，因为传统的word2vec需要巨大的计算量，所以该方法主要有两个改进点： 1. 对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。 比如输入的是三个4 ...
分类：
其他好文 时间：
2019-06-02 20:37:24
阅读次数：
1171
import numpy as np def softmax(x): """ 对输入x的每一行计算softmax。 该函数对于输入是向量（将向量视为单独的行）或者矩阵（M x N）均适用。 代码利用softmax函数的性质: softmax(x) = softmax(x + c) 参数: x -- ... ...
分类：
编程语言 时间：
2019-05-29 16:29:44
阅读次数：
705
在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？ 首先明确一点，loss是代价值，也就是我们要最小化的值 tf.nn.softmax_cross_entropy_with_logits(logits, l ...
分类：
其他好文 时间：
2019-05-20 17:17:26
阅读次数：
248
一、简介 二、参考文献 三、R-CNN 四步： 1、提取region proposals。论文采用的是SS（选择性搜索方法），提取的的proposals数目为2000个。 2、将2000个proposals变形为227*227大小输入AlexNet中得到4096维的特征，形成一个2000*4096维 ...
分类：
其他好文 时间：
2019-05-14 12:38:02
阅读次数：
160
在前一个博客中，我们已经对MNIST 数据集和TensorFlow 中MNIST 数据集的载入有了基本的了解。本节将真正以TensorFlow 为工具，写一个手写体数字识别程序，使用的机器学习方法是Softmax 回归。 一、Softmax回归的原理 Softmax 回归是一个线性的多类分类模型，实 ...
分类：
其他好文 时间：
2019-05-05 16:02:28
阅读次数：
154
