自编码器是什么？
自编码器本身就是一种BP神经网络。它是一种无监督学习算法。
我们都知道神经网络可以从任意精度逼近任意函数，这里我们让神经网络目标值等于输出值x，也就是模拟一个恒等函数：
太无聊了，是吗？输入等于输出，这网络有什么意义？但是，当我们把自编码神经网络加入某些限制，事情就发生了变化。如图1所示，这就是一个基本的自编码神经网络，可以看到隐含层节点数量要少于输入层节点数量。
...
分类：
其他好文 时间：
2014-08-09 11:37:57
阅读次数：
442
实上有许多的途径可以了解机器学习，也有许多的资源例如书籍、公开课等可为所用，一些相关的比赛和工具也是你了解这个领域的好帮手。本文我将围绕这个话题，给出一些总结性的认识，并为你由程序员到机器学习高手的蜕变旅程中提供一些学习指引。...
分类：
其他好文 时间：
2014-08-08 16:16:46
阅读次数：
469
Recurrent Neural Network Language Modeling Toolkit 工具使用点击打开链接
按照训练的进度学习代码：
trainNet()中的结构：
step1. learnVocabFromTrainFile() 统计训练文件中所有的单词信息，并对统计好的信息进行整理
涉及的数据结构：...
分类：
Web程序 时间：
2014-08-05 15:52:16
阅读次数：
345
参考论文：1、A Practical Guide to TrainingRestricted Boltzmann Machines2、Classification using Discriminative Restricted Boltzmann Machines 目前研究火热的深度学习中，RBM(...
分类：
其他好文 时间：
2014-08-03 17:44:35
阅读次数：
498
Y=alpha * X +beta*Ytemplate void caffe_cpu_axpby(const int N, const float alpha, const float* X, const float beta, float* Y...
分类：
其他好文 时间：
2014-08-02 12:17:03
阅读次数：
278
caffe源码分析--poolinger_layer.cpp
对于采样层，cafffe里实现了最大采样和平均采样的算法。
最大采样，给定一个扫描窗口，找最大值，
平均采样，扫描窗口内所有值的平均值。...
分类：
其他好文 时间：
2014-07-30 20:48:44
阅读次数：
348
约束玻尔兹曼机（RBM）是一类具有两层结构、对称连接无自反馈的随机神经网络模型，层与层之间是全连接，层内无连接，它是一种有效的特征提取方法，常用于初始化前馈神经网络，可明显提高泛化能力。而由多个RBM结构堆叠而成的深度信念网络（DBN）能提取出更好更抽象的特征，从而用来分类。...
分类：
其他好文 时间：
2014-07-27 11:48:43
阅读次数：
221
ConvNet是一个基于GPU实现的卷积神经网络开源代码（C++11），是由多伦多大学的Geoffrey Hinton深度学习团队编写的，它的最初版本是Hinton的学生Alex Krizhevsky编写的cuda-convnet（其项目地址在google code上面），最近cuda-convnet也从1.0版本更新到2.0版本（地址）。
在CNN的开源代码中最出名的主要有两个，一个是Berkeley Caffe，另一个是Toronto Convnet。Berkeley的Caffe我目前还没有研究过它的代...
分类：
Web程序 时间：
2014-07-26 02:53:06
阅读次数：
276
一直犹豫稀疏编码怎么写，来来回回看了好几遍的UFLDL。因为这不仅是DL深度学习的重要概念，也是我这段时间一直在研究的stacked ISA 深度特征学习的支柱。
这章将主要介绍一下稀疏编码的主要概念，及主成分分析的方法。
稀疏编码算法是一种无监督（unsupervised）学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。（设x的维数为n，则k>n）
超完备基能更有效地找...
分类：
其他好文 时间：
2014-07-26 02:23:36
阅读次数：
614
一个月前，自己模仿caffe实现了一个卷积神经网络的框架。
一个月前，自己模仿caffe实现了一个卷积神经网络的框架。
相同点
1无缝支持CPU和GPU模式，GPU模式使用cuda实现。
不同点
1我的CNN不依赖与任何第三方的函数库，caffe用到了第三方的数学函数库（cublas和mkl）来做矩阵操作。
其实区别就在于...
分类：
其他好文 时间：
2014-07-26 02:17:46
阅读次数：
334
