在机器学习中，有很多的问题并没有解析形式的解，或者有解析形式的解但是计算量很大（譬如，超定问题的最小二乘解），对于此类问题，通常我们会选择采用一种迭代的优化方式进行求解。 这些常用的优化算法包括：梯度下降法（Gradient Descent），共轭梯度法（Conjugate Gradient），Mo ...
分类：
编程语言 时间：
2018-09-29 21:34:02
阅读次数：
225
BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络,其算法称为BP算法,它的基本思想是梯度下降法。 BP神经网络的网络结构： 通常有n个输入，m个输出，中间有若干个隐藏层，具体如下图所示： BP神经网络的计算过程： 工作信号正向传递过程（前向传播）： 四个步骤： 1、输入层的每个节点 ...
分类：
其他好文 时间：
2018-09-29 18:21:06
阅读次数：
372
降低损失 (Reducing Loss) 为了训练模型，我们需要一种可降低模型损失的好方法。迭代方法是一种广泛用于降低损失的方法，而且使用起来简单有效 了解如何使用迭代方法来训练模型。 全面了解梯度下降法和一些变体，包括： 小批量梯度下降法 随机梯度下降法 尝试不同的学习速率。 降低损失：迭代方法 ...
分类：
其他好文 时间：
2018-09-25 22:51:28
阅读次数：
243
(对最小二乘法和梯度下降的一些区别的理解： 1.最小二乘法可以直接求全局最优解 梯度下降法是一种迭代的求解局部最优解的方法 2.最小二乘法没有“优化”，只有“求解”。算是一个确定性问题。而梯度下降，涉及迭代获取最优解，才算是“优化”。) 1.梯度定义 在微积分里面，对多元函数的参数求?偏导数，把求得 ...
分类：
其他好文 时间：
2018-09-15 15:17:06
阅读次数：
263
1.不同的起始点，可能导致最后得到的局部最小值点不同。 2.同时更新： 以代价函数J(θ0,θ1)为例： 我们的目的就是要同时迭代更新θ0和θ1，直到下面这个式子收敛，这也是梯度下降法的核心 其中，j取值为0和1。 每次迭代的时候，我们需要同时更新θ1?,θ2?,...,θn，我个人的理解就是，先都 ...
分类：
其他好文 时间：
2018-08-29 16:53:50
阅读次数：
170
- 要理解梯度下降和牛顿迭代法的区别 - 第一题就二维网格上A->B的路径数量，其中有mask限制！ ...
分类：
其他好文 时间：
2018-08-29 01:04:12
阅读次数：
175
1、梯度下降法 梯度下降法是最早最简单的，也是最为常用的最优化算法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被 ...
分类：
编程语言 时间：
2018-08-27 10:29:07
阅读次数：
164
optimizer是在训练中，运用到的训练方法，最常用的是梯度下降法，去寻找最优loss，tf中常见的optimizer有： 通过Dr.Sebastian Ruder 的论文An overview of gradient descent optimization algorithms来详细了解一些优 ...
分类：
其他好文 时间：
2018-08-21 12:43:53
阅读次数：
517
下面介绍深度学习算法中常用的一些概念。 （1）Layer （2）局部连接（Local connection），权值共享（weight sharing） 图像中某点只有它周边点存在联系，而不是全图。此外，卷积核的权值对图中所有点一致，通过卷积可以得到feature map （3）池化操作 也是一种降采 ...
分类：
其他好文 时间：
2018-08-16 19:44:03
阅读次数：
176
Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重衰减系数 ...
分类：
其他好文 时间：
2018-08-16 16:36:14
阅读次数：
277
