这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用， 接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门，比如，神经元（非线性激励），梯度检验，参数的Xavier初始化方法，学习速率，ADAGRAD...
分类：
编程语言 时间：
2016-06-19 11:41:38
阅读次数：
614
Alec Radford has created some great animations comparing optimization algorithms SGD, Momentum, NAG, Adagrad, Adadelta,RMSprop (unfortunately no Adam) ...
分类：
编程语言 时间：
2016-03-28 13:28:40
阅读次数：
448
上文提到，到目前为止，caffe总共提供了六种优化方法：Stochastic Gradient Descent (type: "SGD"),AdaDelta (type: "AdaDelta"),Adaptive Gradient (type: "AdaGrad"),Adam (type: "Ada...
分类：
其他好文 时间：
2015-12-24 20:53:42
阅读次数：
701
神经网络
神经网络模型
前向传播
反向传播
Neural Networds Tips and Tricks
Gradient Check
Regularization
激活函数
sigmoid 函数
Tanh
Relu
稀疏编码
卷积神经网络
卷积
局部感知
权值共享
多通道卷积
卷积输出大小计算公式
池化pooling后的平移不变性
Dropout
Learning rate
AdaGrad
p...
分类：
其他好文 时间：
2015-11-06 18:07:24
阅读次数：
442
在Deep Learning中，往往loss function是非凸的，没有解析解，我们需要通过优化方法来求解。Caffe通过协调的进行整个网络的前向传播推倒以及后向梯度对参数进行更新，试图减小损失。
Caffe已经封装好了三种优化方法，分别是Stochastic Gradient Descent (SGD), AdaptiveGradient (ADAGRAD), and Nesterov’...
分类：
其他好文 时间：
2015-01-21 09:06:32
阅读次数：
1047
本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题...
分类：
其他好文 时间：
2014-06-18 00:55:39
阅读次数：
433
