Momentum方法可以说是对SGD的进一步优化，细节可以参考这里 这里用python对其进行简单实现，如下： 同样的收敛条件，速度确实比MBGD要快，用的次数更少 结果： ...
分类：
编程语言 时间：
2018-08-21 12:16:09
阅读次数：
578
算法具体可以参照其他的博客： 随机梯度下降： 小批量梯度下降： 通过迭代，结果会收敛到8和3 ...
分类：
编程语言 时间：
2018-08-20 20:13:55
阅读次数：
476
训练过程中需要适时的调整参数，以获得比较好的模型，下面介绍几种调参方式： 参数初始化 初始化参数对结果的影响至关重要，要引起重视 Xavier 初始化参数对结果的影响至关重要，要引起重视 Xavier 权重初始化太大容易发散，初始化太小容易弥散而不收敛，Xavier是让权重均值为0，方差为2/in+ ...
分类：
其他好文 时间：
2018-08-20 19:05:15
阅读次数：
661
1、GAN的原理： GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布，如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。G， D的主要功 ...
分类：
其他好文 时间：
2018-08-16 22:23:20
阅读次数：
279
之前在tensorflow上和caffe上都折腾过CNN用来做视频处理，在学习tensorflow例子的时候代码里面给的优化方案默认很多情况下都是直接用的AdamOptimizer优化算法，如下： optimizer = tf.train.AdamOptimizer(learning_rate=lr ...
分类：
编程语言 时间：
2018-08-01 13:59:06
阅读次数：
271
https://www.cnblogs.com/maybe2030/p/5089753.html 阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 https://www.cnblogs.com/maybe2030/p/5089753.ht ...
分类：
其他好文 时间：
2018-07-28 15:23:33
阅读次数：
182
关于使用SGD时如何选择初始的学习率(这里SGD是指带动量的SGD,momentum=0.9)： 训练一个epoch，把学习率从一个较小的值(10-8)上升到一个较大的值(10)，画出学习率(取log)和经过平滑后的loss的曲线，根据曲线来选择合适的初始学习率。 从上图可以看出学习率和loss之间 ...
分类：
其他好文 时间：
2018-07-17 23:34:47
阅读次数：
804
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为： 对应的损失函数为： 下图为一个二维参数（θ0和θ1）组对应能量函数的 ...
分类：
其他好文 时间：
2018-07-11 14:47:25
阅读次数：
190
tensorflow caffe layer python 损失模型 神经分析 1 折射率（眼睛与皮肤） 2 文理 SGD GPU batch-size ROC曲线 卷积核 ...
分类：
其他好文 时间：
2018-07-09 23:19:54
阅读次数：
203
在Batch Gradient Descent及Mini-batch Gradient Descent, Stochastic Gradient Descent(SGD)算法中，每一步优化相对于之前的操作，都是独立的。每一次迭代开始，算法都要根据更新后的Cost Function来计算梯度，并用该梯 ...
分类：
其他好文 时间：
2018-07-09 20:32:35
阅读次数：
179
