Softmax是机器学习中最常用的输出函数之一，网上有很多资料介绍它是什么以及它的用法，但却没有资料来介绍它背后的原理。本文首先简单地介绍一下Softmax，然后着重从数学分析的角度来分析一下它背后的原理。
分类：
其他好文 时间：
2016-01-13 12:35:44
阅读次数：
154
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了非常多人的关注。因为 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上...
分类：
其他好文 时间：
2015-12-25 10:09:33
阅读次数：
187
本文讲解一些其它的常用层，包括：softmax_loss层，Inner Product层，accuracy层，reshape层和dropout层及其它们的参数配置。1、softmax-losssoftmax-loss层和softmax层计算大致是相同的。softmax是一个分类器，计算的是类别的概率...
分类：
其他好文 时间：
2015-12-24 14:37:52
阅读次数：
241
教程地址：http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ logstic regression是二分类的问题，如果想要多分类，就得用softmax regression。 理论部分参考这位博主的博文：http://w....
分类：
其他好文 时间：
2015-09-12 17:43:20
阅读次数：
357
第0步：初始化一些参数和常数第1步：利用训练样本集训练第一个稀疏编码器第2步：利用训练样本集训练第二个稀疏编码器第3步：利用第二个稀疏编码器提取到的特征训练softmax回归模型第4步：利用误差反向传播进行微调第5步：利用测试样本集对得到的分类器进行精度测试
分类：
其他好文 时间：
2015-08-31 21:21:45
阅读次数：
109
多层自编码器由多个稀疏自编码器和一个Softmax分类器构成；（其中，每个稀疏自编码器的权值可以利用无标签训练样本得到， Softmax分类器参数可由有标签训练样本得到）多层自编码器微调是指将多层自编码器看做是一个多层的神经网络，利用有标签的训练样本集，对该神经网络的权值进行调整。1多层自编码器的结...
分类：
其他好文 时间：
2015-08-31 21:18:18
阅读次数：
153
关于Andrew Ng的machine learning课程中，有一章专门讲解逻辑回归（Logistic回归），具体课程笔记见另一篇文章。下面，对Logistic回归做一个简单的小结：给定一个待分类样本x，利用Logistic回归模型判断该输入样本的类别，需要做的就是如下两步：① 计算逻辑回归假设函...
分类：
其他好文 时间：
2015-08-29 13:55:10
阅读次数：
299
voidLogisticRegression_softmax(LogisticRegression*this,double*x){inti;doublemax=0.0;doublesum=0.0;for(i=0;in_out;i++)if(maxn_out;i++){x[i]=exp(x[i]-ma...
分类：
其他好文 时间：
2015-07-25 00:08:36
阅读次数：
119
基于Pre-Train的CNN模型的图像分类实验MatConvNet工具包提供了好几个在imageNet数据库上训练好的CNN模型，可以利用这个训练好的模型提取图像的特征。本文就利用其中的 “imagenet-caffe-ref”的模型，提取图像特征(softmax前一层的输出，4096维)，在几个...
分类：
其他好文 时间：
2015-07-23 21:33:15
阅读次数：
437
为了给课程的前四讲画上一个句号，这里补充两个前四讲中Andrew大神提到过的模型。The perceptron learning algorithm 感知机模型：从模型上来看感知机与逻辑回归十分相似，只不过逻辑回归的g函数是逻辑函数（又称sigmoid函数），它是一条从y值0到1的连续曲线。当z→∞...
分类：
其他好文 时间：
2015-07-16 16:30:29
阅读次数：
1339
