[TOC] "《Convex Optimization》" 在介绍下降方法之前，我们需要先看一些预备的知识。 预备知识 我们假设目标函数在下水平集$S$上是强凸的，这是指存在$m 0$，使得 $$ \nabla^2 f(x) \succeq mI $$ 对于任意$x$成立。 注意，这个广义不等式，是 ...
分类：
其他好文 时间：
2019-03-16 13:05:01
阅读次数：
240
参考这篇文章： https://baijiahao.baidu.com/s?id=1621054167310242353&wfr=spider&for=pc https://blog.csdn.net/jinping_shi/article/details/52433975 参考这篇文章： http ...
分类：
其他好文 时间：
2019-03-14 19:52:59
阅读次数：
207
https://blog.csdn.net/red_stone1/article/details/80212814什么是梯度？对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回归（Linear Regression）、逻辑回归（Logisti ...
分类：
其他好文 时间：
2019-03-14 10:24:37
阅读次数：
203
注意： 1.每次更新，都要进行一次完整的forward和backward，想要进行更新，需要梯度，所以你需要前馈样本，马上反向求导，得到梯度，然后根据求得的梯度进行权值微调，完成权值更新。 2.前馈得到损失，反馈得到梯度，对梯度的使用来完成权值更新。 3. 训练的过程，前馈，反馈，更新；...... ...
分类：
其他好文 时间：
2019-03-13 21:28:25
阅读次数：
222
cifar神经网络的代码说明： 数据主要分为三部分： 第一部分：数据的准备 第二部分：神经网络模型的构造，返回loss和梯度值 第三部分：将数据与模型输入到函数中，用于进行模型的训练，同时进行验证集的预测，来判断验证集的预测结果，保留最好的验证集结果的参数组合 第一部分：数据的准备 第一步：构造列表 ...
分类：
其他好文 时间：
2019-03-07 00:45:43
阅读次数：
233
logistic回归 梯度上升法 做图 随机梯度上升 随机梯度上升改进 从疝气病预测病马的死亡率 ...
分类：
其他好文 时间：
2019-03-06 14:56:59
阅读次数：
184
首先明确一下，本文需要对RNN有一定的了解，而且本文只针对标准的网络结构，旨在彻底搞清楚反向传播和BPTT。 反向传播形象描述 什么是反向传播？传播的是什么？传播的是误差，根据误差进行调整。 举个例子：你去买苹果，你说，老板，来20块钱苹果（目标，真实值），老板开始往袋子里装苹果，感觉差不多了（预测 ...
分类：
其他好文 时间：
2019-03-06 11:54:51
阅读次数：
177
一、基本概念 1、逻辑回归与线性回归的区别? 预测得到的是一个数值，而 预测到的数值只有0、1两个值。 是在线性回归的基础上，加上一个 ，让其值位于 之间，最后获得的值大于 判断为 ，小于等于 判断为 二、逻辑回归的推导 $\hat y$表示 ，$y$表示 1、一般公式 $$ \hat y = wx ...
分类：
其他好文 时间：
2019-03-02 10:51:52
阅读次数：
183
1.前向分布算法 负梯度拟合 损失函数 回归 二分类，多分类 正则化 优缺点 sklearn参数 应用场景 ...
分类：
编程语言 时间：
2019-03-02 00:51:12
阅读次数：
155
