Softmax回归就是推广版本的逻辑回归。
只不过逻辑回归是个2分类问题，而Softmax是多分类问题，仅此而已。
Softmax回归在2分类情况下就蜕化成了逻辑回归。
逻辑回归的代价函数
考虑到权重衰减，修改一下就是Softmax回归的代价函数了
这里的权重衰减项是必须的，因为原先的代价函数不是严格凸函数，有无穷个极小值。现在加了这个权重衰减项，函数变成了严格凸函数。L...
分类：
数据库 时间：
2014-08-12 17:10:34
阅读次数：
502
经过了2个月对机器学习的了解后，我发现了，机器学习的方向多种多样。网页排序，语音识别，图像识别，推荐系统等。算法也多种多样。看见其他的书后，我发现除了讲到的k均值聚类，贝叶斯，神经网络，在线学习等等，还有很多其他的算法。比如说：免疫算法，遗传算法，主成分分析，蚁群算法等等。好像很多算法都是需要做很多的研究才能用的很好的。据说深度学习是由神经网络升级来的。神经网络本身就是一本书，内容很多。龙星计划里...
分类：
其他好文 时间：
2014-08-12 00:39:33
阅读次数：
206
上一节介绍了主成分分析应用于2维数据。现在使用高维的图像数据来试试效果。
原始图像如图1所示。
图1
每个图片都是12*12的小patch，原始数据是一个144*10000的矩阵x。
在使用了PCA旋转之后，可以检查一下此时的协方差矩阵是否已经成功变成对角阵了，如图2所示。
avg=mean(x,1);
x=x-repmat(avg,size(x,1),1);
xRot = ze...
分类：
其他好文 时间：
2014-08-11 21:28:52
阅读次数：
429
这一节不论是思想还是实现都比较容易。
主成分分析（PCA）就是模式识别里面说的K-L变换，思想是完全相同的。
详情可见我的博文：特征选择（三）-K-L变换
这里简单介绍几个概念。顺便贴出代码和效果图。
xRot = zeros(size(x));
xRot=u'*x;
figure(2);
scatter(xRot(1, :), xRot(2, :));
title('xRot');得到原...
分类：
其他好文 时间：
2014-08-11 18:04:42
阅读次数：
309
矢量化编程就是用矢量运算取代所有的显式for循环。
上一节所用的是512*512*10的数据集很小，我们取的patch很小（8*8），学来的特征很少（25），而我又注释掉了梯度校验（偷懒），所以程序用了1分钟就跑完了（i5处理器）。
但实际上我们遇到的问题规模比这个打太多了，稍微大一点的数据集比如说MNIST，这个数据库是另外一个更大的手写体数据库NIST的子集，包含60000个训练例子...
分类：
其他好文 时间：
2014-08-11 12:10:22
阅读次数：
323
自编码器是什么？
自编码器本身就是一种BP神经网络。它是一种无监督学习算法。
我们都知道神经网络可以从任意精度逼近任意函数，这里我们让神经网络目标值等于输出值x，也就是模拟一个恒等函数：
太无聊了，是吗？输入等于输出，这网络有什么意义？但是，当我们把自编码神经网络加入某些限制，事情就发生了变化。如图1所示，这就是一个基本的自编码神经网络，可以看到隐含层节点数量要少于输入层节点数量。
...
分类：
其他好文 时间：
2014-08-09 11:37:57
阅读次数：
442
实上有许多的途径可以了解机器学习，也有许多的资源例如书籍、公开课等可为所用，一些相关的比赛和工具也是你了解这个领域的好帮手。本文我将围绕这个话题，给出一些总结性的认识，并为你由程序员到机器学习高手的蜕变旅程中提供一些学习指引。...
分类：
其他好文 时间：
2014-08-08 16:16:46
阅读次数：
469
Recurrent Neural Network Language Modeling Toolkit 工具使用点击打开链接
按照训练的进度学习代码：
trainNet()中的结构：
step1. learnVocabFromTrainFile() 统计训练文件中所有的单词信息，并对统计好的信息进行整理
涉及的数据结构：...
分类：
Web程序 时间：
2014-08-05 15:52:16
阅读次数：
345
参考论文：1、A Practical Guide to TrainingRestricted Boltzmann Machines2、Classification using Discriminative Restricted Boltzmann Machines 目前研究火热的深度学习中，RBM(...
分类：
其他好文 时间：
2014-08-03 17:44:35
阅读次数：
498
约束玻尔兹曼机（RBM）是一类具有两层结构、对称连接无自反馈的随机神经网络模型，层与层之间是全连接，层内无连接，它是一种有效的特征提取方法，常用于初始化前馈神经网络，可明显提高泛化能力。而由多个RBM结构堆叠而成的深度信念网络（DBN）能提取出更好更抽象的特征，从而用来分类。...
分类：
其他好文 时间：
2014-07-27 11:48:43
阅读次数：
221
