风云突变 到了2013年，这一年的故事要从一个叫做孟凯的饭店老板说起。这个孟凯呢，很有可能是全中国第一个意识到风云突变的企业家，为什么呢？这倒不是因为他有什么特别敏锐的政治嗅觉，而是因为他的饭店突然就门庭冷清了。 孟凯的饭店叫做湘鄂情，就开在北京市海淀区定慧寺的路边，这个地方非常的特别，因为是中央八 ...
分类：
其他好文 时间：
2018-10-20 16:18:52
阅读次数：
566
梯度下降 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路。 随机梯度下降Stochastic gradient descent） 随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样 ...
分类：
其他好文 时间：
2018-09-22 23:47:08
阅读次数：
199
第21章 《Startle Bundle》结束总结 1 本书总结 纵观《Startle Bundle》本书，我们学习了： l 图像分类基础； l 配置深度学习环境； l 构建第一个图像分类器； l 学习参数化学习； l 学习基本的SGD和正则化技术； l 研究神经网络； l 掌握CNNs的基础； l ...
分类：
其他好文 时间：
2018-09-21 15:09:11
阅读次数：
108
第16章 学习速率调度器 上一章中我们在训练MiniVGGNet时，在应用SGD优化网络时新引入了一个decay参数。本章我们将讨论学习速率调度器（learning rate schedules）的概念，有时称为学习速率退火或自适应学习速率。通过epoch-to-epoch的方式调整学习速率，我们可 ...
分类：
其他好文 时间：
2018-09-21 15:05:52
阅读次数：
248
最近在学习神经网络的优化算法，发现网上有很多的算法介绍，但是却没有算法实现和实验对比，所以我就用python实现了BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop等算法，另外的Adam和NAdam算法是将Momentum，Nesterov，Adagrad几 ...
分类：
编程语言 时间：
2018-09-17 13:26:07
阅读次数：
548
本编博客继续分享简单的机器学习的R语言实现。 今天是关于简单的线性回归方程问题的优化问题 常用方法，我们会考虑随机梯度递降，好处是，我们不需要遍历数据集中的所有元素，这样可以大幅度的减少运算量。 具体的算法参考下面： 首先我们先定义我们需要的参数的Notation 上述算法中，为了避免过拟合，我们采 ...
分类：
编程语言 时间：
2018-09-16 20:50:29
阅读次数：
366
梯度下降（GD） 梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，导数对应的是变化率 即函数在该点处沿着该方向变化最快，变化率最大（为该梯度的模） 随机梯度下降（SGD）：每次迭代随机使用一组样本 针对BGD算法训练速度过慢的缺点，提出了SGD算法，普通的BGD算法是每次迭 ...
分类：
其他好文 时间：
2018-09-14 22:53:31
阅读次数：
151
介绍梯度下降概念，SGD以及扩展SGD，包括动量和Nesterov动量。 阐述正则化概念与基本应用。 ...
分类：
其他好文 时间：
2018-08-24 18:10:34
阅读次数：
192
https://zhuanlan.zhihu.com/p/32230623 首先定义：待优化参数： ，目标函数： ，初始学习率 。 而后，开始进行迭代优化。在每个epoch ： sgd： 先来看SGD。SGD没有动量的概念，也就是说： 代入步骤3，可以看到下降梯度就是最简单的 SGD缺点：下降速度慢 ...
分类：
其他好文 时间：
2018-08-24 10:47:22
阅读次数：
479
一、初级介绍篇 1.用Python，TensorFlow和Keras进行深度学习（作者Sandipan Dey） 作者粗略介绍了Logistic Regression、SGD（with momentum、RMSprop的公式其Python实现）以及使用Python、Keras搭建神经网络进行手写数字 ...
分类：
其他好文 时间：
2018-08-21 21:05:35
阅读次数：
162
