https://blog.csdn.net/weixin_38206214/article/details/81143894 在深度学习的路上，从头开始了解一下各项技术。本人是DL小白，连续记录我自己看的一些东西，大家可以互相交流。本文参考：本文参考吴恩达老师的Coursera深度学习课程，很棒的课 ...
分类：
编程语言 时间：
2018-12-28 17:19:07
阅读次数：
221
我们初学的算法一般都是从SGD入门的，参数更新是： 它的梯度路线为： 但是可以看出它的上下波动很大，收敛的速度很慢。因此根据这些原因，有人提出了Momentum优化算法，这个是基于SGD的，简单理解，就是为了防止波动，取前几次波动的平均值当做这次的W。这个就用到理论的计算梯度的指数加权平均数，引进超 ...
分类：
编程语言 时间：
2018-12-27 15:12:22
阅读次数：
212
XGboost,全称Extrem Gradient boost,极度梯度提升，是陈天奇大牛在GBDT等传统Boosting算法的基础上重新优化形成的，是Kaggle竞赛的必杀神器。 XGboost属于集成学习的模型，在集成学习中主要有三个算法，Bagging，Boosting和Stacking，Ba ...
分类：
其他好文 时间：
2018-12-27 13:11:57
阅读次数：
146
【1】大规模数据 【2】随机梯度下降 【3】小批量梯度下降 【4】随机梯度下降的收敛 Answer：BD A 错误。学习率太小，算法容易很慢 B 正确。学习率小，效果更好 C 错误。应该是确定阈值吧 D 正确。曲线不下降，说明学习率选的太大 【5】在线学习 【6】 Answer：BC A 错误。随机 ...
分类：
其他好文 时间：
2018-12-27 03:09:42
阅读次数：
260
梯度下降代码：function [ theta, J_history ] = GradinentDecent( X, y, theta, alpha, num_iter )m = length(y);J_history = zeros(20, 1);i = 0;temp = 0;for iter =... ...
分类：
其他好文 时间：
2018-12-25 15:20:47
阅读次数：
738
输出结果为： 代码中，Variable是变量的意思。包含很多属性，常用的是.data，还可以计算梯度。 ...
分类：
其他好文 时间：
2018-12-25 11:25:08
阅读次数：
124
一、软阈值算法及推导：二、近端投影与近端梯度下降以上推导是结合很多大佬博客整理的，如有侵权，请及时联系，将对其进行修改。 ...
分类：
编程语言 时间：
2018-12-24 13:22:13
阅读次数：
251
参考链接：https://zhuanlan.zhihu.com/p/36435504 ...
分类：
其他好文 时间：
2018-12-24 13:18:05
阅读次数：
106
机器学习中我们必须具备矩阵相关知识。《矩阵分析与应用（第2版）》系统、全面地介绍矩阵分析的主要理论、具有代表性的方法及一些典型应用。共10章，内容包括矩阵代数基础、特殊矩阵、矩阵微分、梯度分析与最优化、奇异值分析、矩阵方程求解、特征分析、子空间分析与跟踪、投影分析、张量分析。前3章为全书的基础，组成矩阵代数；后7章介绍矩阵分析的主体内容及典型应用。为了方便读者对数学理论的理解以及培养应用矩阵分析进
分类：
其他好文 时间：
2018-12-22 12:40:49
阅读次数：
217
