吴恩达老师的机器学习公开课的第二课主要讲了随机梯度下降算法，我记录了一些要点并写了一点自己的想法于此。 以上便是第二节课的核心内容。 另外的内容还有随机梯度下降法。思想是很平凡的，当数据较多的时候随机选择数据进行梯度下降，以精度换速度。 梯度下降法似乎并不能处理局部最优的问题。吴恩达老师在课上给的解 ...
分类：
其他好文 时间：
2017-11-10 21:44:20
阅读次数：
1782
以下为在Coursera上吴恩达老师的DeepLearning.ai课程项目中，第一部分《神经网络和深度学习》第二周课程部分关键点的笔记。笔记并不包含全部小视频课程的记录，如需学习笔记中舍弃的内容请至 Coursera 或者 网易云课堂。同时在阅读以下笔记之前，强烈建议先学习吴恩达老师的视频课程。 ...
分类：
其他好文 时间：
2017-11-07 22:19:10
阅读次数：
242
文章链接： http://blog.csdn.net/yhl_leo/article/details/50624471 训练结果准确率为0.9318 训练优化方法修改为梯度下降算法： 训练结果准确率为0.9925 ...
分类：
其他好文 时间：
2017-10-18 23:11:40
阅读次数：
312
原文链接在Tensorflow的教程里面，使用梯度下降算法训练神经网络时，都会提到一个使模型更加健壮的策略，即滑动平均模型。 基本思想 在使用梯度下降算法训练模型时，每次更新权重时，为每个权重维护一个影子变量，该影子变量随着训练的进行，会最终稳定在一个接近真实权重的值的附近。那么，在进行预测的时候，... ...
分类：
其他好文 时间：
2017-10-07 14:36:43
阅读次数：
219
梯度下降算法，参考Edwin《最优化导论》8.2章节，算法采用go语言实现。 此处算法仍然存在疑惑，主要是获取梯度下降时如何确定步长，即使采用割线法获取最优步长，那么割线法的初始值又如何确定？？ 下面程序中虽然采用了牛顿法获取极值，但非常依赖初始取值范围！！ ...
分类：
编程语言 时间：
2017-09-16 17:23:12
阅读次数：
154
之前学习Java的时候，用过一个IDE叫做EditPlus,虽然他敲代码的高亮等体验度不及eclipse，但是打开软件特别快捷，现在也用他读python特别方便。 训练算法:：使用梯度上升找到最佳参数 之前看过吴恩达的视频的同学们，听得比较多的就是梯度下降算法，但是梯度上升算法和梯度下降算法本质是是 ...
分类：
其他好文 时间：
2017-09-15 18:44:07
阅读次数：
281
已经知道了logistic回归模型，也知道了损失函数 损失函数是衡量单一训练样例的效果，还知道了成本函数 成本函数用于衡量参数w和b的效果在全部训练集上面的衡量下面开始讨论如何使用梯度下降法来训练或学习训练集上的参数w和b回顾一下： 这里是最熟悉的logistic回归算法第二行是成本函数J，成本函数... ...
分类：
编程语言 时间：
2017-09-09 00:06:05
阅读次数：
212
这篇博文主要讲解下梯度与方向导数的关系、等值线图中梯度的表示，以及梯度的应用。因涉及太多高数的知识点，在此就不一一详述了，只是简单梳理下知识点，有所纰漏还望纠正指出，文末附有参考文献，借图。 一、方向导数与梯度 1、方向导数 导数引言 我们知道在二维平面上，F(x,y)=0 有斜率的概念，从名字上看 ...
分类：
编程语言 时间：
2017-09-02 20:47:52
阅读次数：
294
