https://zhuanlan.zhihu.com/p/43636528 https://zhuanlan.zhihu.com/p/43734896 摘要：想要了解人工智能，不知道这十种深度学习方法怎么能行？ 在过去十年中，人们对机器学习的兴趣激增。几乎每天，我们都可以在各种各样的计算机科学课程、 ...
分类：
其他好文 时间：
2018-09-05 14:59:32
阅读次数：
132
算法具体可以参照其他的博客： 随机梯度下降： 小批量梯度下降： 通过迭代，结果会收敛到8和3 ...
分类：
编程语言 时间：
2018-08-20 20:13:55
阅读次数：
476
1.学习大数据集 图1.学习大数据集 当数据集量为m=1亿时，进行梯度下降将会花费较大时间。 可以使用小量数据集进行训练，然后得出学习曲线。 左图是高方差，右图是高偏差。 总之是要通过高效的学习算法来进行大数据学习。 2.随机梯度下降 图2.批梯度下降 假设是美国人口普查的数据，m=3亿，如果需要每 ...
分类：
其他好文 时间：
2018-08-20 13:10:57
阅读次数：
131
机器学习算法的目标是降低期望泛化误差。这个数据量被称为 风 险（risk）。在这里，我们强调该期望取自真实的潜在分布 p_data 。如果我们知道了真 实分布 p_data (x, y)，那么最小化风险变成了一个可以被优化算法解决的优化问题。然 而，我们遇到的机器学习问题，通常是不知道 p_da... ...
分类：
编程语言 时间：
2018-08-19 12:59:39
阅读次数：
228
Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重衰减系数 ...
分类：
其他好文 时间：
2018-08-16 16:36:14
阅读次数：
277
https://www.cnblogs.com/maybe2030/p/5089753.html 阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 https://www.cnblogs.com/maybe2030/p/5089753.ht ...
分类：
其他好文 时间：
2018-07-28 15:23:33
阅读次数：
182
反向传播这个术语经常被误解为用于多层神经网络的整个学习算法。实际上，反向传播仅指用于计算梯度的方法，而另一种算法，例如随机梯度下降，使用该梯度来进行学习。此外，反向传播经常被误解为仅适用于多层神经网络，但是原则上它可以计算任何函数的导数（对于一些函数，正确的响应是报告函数的导数是未定义的）。 ...
分类：
编程语言 时间：
2018-07-19 13:46:29
阅读次数：
253
下载地址： "网盘下载" 本书涵盖了机器学习领域中的严谨理论和实用方法，讨论了学习的计算复杂度、凸性和稳定性、PAC 贝叶斯方法、压缩界等概念，并介绍了一些重要的算法范式，包括随机梯度下降、神经元网络以及结构化输出。 全书讲解全面透彻，适合有一定基础的高年级本科生和研究生学习，也适合作为IT行业从事 ...
分类：
编程语言 时间：
2018-07-17 21:43:12
阅读次数：
652
17.1大型数据集的学习 首先通过学习曲线判断是否增大数据集有效： 高方差时（交叉验证集误差减去训练集误差大时）增加数据集可以提高系统。下图中左图增加数据集有效，右图无效。 17.2随机梯度下降法 随机梯度下降法是只使用一个样本来迭代，其损失函数为： 迭代过程为： 特点： (1)计算量小，迭代速度快 ...
分类：
其他好文 时间：
2018-07-07 17:45:50
阅读次数：
201
本文以线性回归为例，讲解了批量梯度下降、随机梯度下降、小批量梯度下降、冲量梯度下降等算法，由浅入深，并结合精心设计的例子，使读者最快掌握这种最常用的优化方法。每一种优化方法，笔者都基于R语言给出了相应的代码，供读者参考， 梯度下降 假如我们有以下身高和体重的数据，我们希望用身高来预测体重。如果你学过 ...
分类：
其他好文 时间：
2018-07-01 19:53:01
阅读次数：
134
