深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多...
分类：
其他好文 时间：
2015-06-19 18:29:17
阅读次数：
227
Gradient-Based Learning Applied to Document Recognition本文主要以LeNet-5手写体字符识别卷积神经网络为例，详细介绍了卷积神经网络。这是一篇98年发表的论文，用标准的全连接的多层神经网络能够作为分类器。但是存在以下问题：一、输入的标准图像太大...
分类：
移动开发 时间：
2015-05-28 19:58:40
阅读次数：
838
6.1引言线性分类在解决很多问题是取得的最小误差率还显得不够！一个精确选择的非线性函数，可以得到任意判决边界。但主要的困难是如何选择非线性函数。一个完备的基函数可能得到较好的效果，但可能会有太多的参数需要估计，而训练样本总是有限的！再或者我们可能有先验知识引导我们选择非线性函数，但如果缺少这些信息，...
分类：
其他好文 时间：
2015-05-19 00:28:48
阅读次数：
126
上周写完了该代码，但是由于没有注意到softmax相关的实现故结果不对，更正后可以得到正确结果，用200幅图片训练200次可以得到90%以上的正确率，参数设置还有待于优化，另外可以考虑用多线程加速，此处目前还有问题（有待于修改，慎用）。推导请参考之前的文章http://blog.csdn.net/xuanyuansen/article/details/41214115。...
分类：
编程语言 时间：
2014-11-27 12:42:24
阅读次数：
323
原英文教程地址见：http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks
本文是在学习该教程时记得笔记，供参考。周末的时候利用空闲时间用python实现了一下，但是训练结果总是不对，原因尚未查清楚，如果公式推导有误请指出，谢谢！...
分类：
其他好文 时间：
2014-11-17 19:27:28
阅读次数：
282
关于深度学习的一些个人浅见：
深度学习通常是训练深度（多层）神经网络，用于模式识别（如语音、图像识别）；深度网络 指是具有深层（多层）网络结构的神经网络。
深层网络由于神经元多，参数多，拟合表现能力强，有表现欲解决复杂问题的能力。
但是深度网络存在很多局部最优解，深度网络的训练容易停留在局部最优上，初始参数的选择对网络最终收敛在那个位置有很大的影响。...
分类：
数据库 时间：
2014-09-03 11:18:46
阅读次数：
2523
ufldl学习笔记与编程作业：Multi-Layer Neural Network(多层神经网络+识别手写体编程)
ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。
在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。
于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。
新...
分类：
Web程序 时间：
2014-08-10 01:47:29
阅读次数：
339
