贡献指南:https://github.com/apachecn/ds100 textbook zh/blob/master/CONTRIBUTING.md 整体进度:https://github.com/apachecn/ds100 textbook zh/issues/2 项目仓库:https: ...
分类:
Web程序 时间:
2019-12-30 23:25:16
阅读次数:
136
SGDSolver类简介 Solver类用于网络参数的更新,而SGDSolver类实现了优化方法中的随机梯度下降法(stochastic gradient descent),此外还具备缩放、正则化梯度等功能。caffe中其他的优化方法都是SGDSolver类的派生类,重载了基类的 函数,用于各自计算 ...
分类:
其他好文 时间:
2019-12-19 10:04:52
阅读次数:
96
线性回归的定义 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式 线性回归的分类 线性关系 非线性关系 损失函数 最小二乘法 线性回归优化方法 正规方程 梯度下降法 正规方程 -- 一蹴而就 利用矩阵的逆,转置进行一步求解 只是适合样本和特征比较少的情 ...
系列博客,原文在笔者所维护的github上:https://aka.ms/beginnerAI, 点击star加星不要吝啬,星越多笔者越努力。 4.3 神经网络法 在梯度下降法中,我们简单讲述了一下神经网络做线性拟合的原理,即: 1. 初始化权重值 2. 根据权重值放出一个解 3. 根据均方差函数求 ...
分类:
其他好文 时间:
2019-12-06 13:18:19
阅读次数:
180
系列博客,原文在笔者所维护的github上:https://aka.ms/beginnerAI, 点击star加星不要吝啬,星越多笔者越努力。 4.2 梯度下降法 有了上一节的最小二乘法做基准,我们这次用梯度下降法求解w和b,从而可以比较二者的结果。 4.2.1 数学原理 在下面的公式中,我们规定x ...
分类:
其他好文 时间:
2019-12-05 13:04:24
阅读次数:
108
1. 梯度下降法介绍 1.1 梯度 在多元函数微分学中,我们都接触过梯度(Gradient)的概念。 回顾一下,什么是梯度? 梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。 这是百度百科 ...
分类:
其他好文 时间:
2019-12-03 21:51:04
阅读次数:
104
1.梯度下降的场景假设: 假如你想从山顶下山,但是迷雾重重,你看不清楚前方的路,假设你每一步走的距离是一样的,你想要尽快下山,那么你该怎么走? 这个问题就相当于梯度下降,每走一步,直接找坡度最大的方向,在步长一定的情况下,下降的高度是最多的,所以下山最快。 这里坡度最大的方向其实就是梯度下降的方向。 ...
分类:
其他好文 时间:
2019-11-30 14:06:02
阅读次数:
91
我们从上一篇博客中知道了关于单变量线性回归的相关问题,例如:什么是回归,什么是代价函数,什么是梯度下降法。 本节我们讲一下多变量线性回归。依然拿房价来举例,现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x0 ,x1 ,...,xn )。 增添更多特征 ...
分类:
系统相关 时间:
2019-11-26 22:43:03
阅读次数:
154
优化目标函数:$L(\theta) = \mathbb{E}_{(x,y) \sim p_{data}} L(f(x, \theta), y)$ 找到平均损失最小的模型参数,也就是求解优化问题:$\theta^{ } = \mathop{\arg \min} L(\theta)$ 经典梯度下降 采用 ...
分类:
其他好文 时间:
2019-11-24 15:54:13
阅读次数:
86
原理 聚类、高维可视化、数据压缩、特征提取 自组织映射神经网络本质上是一个两层的神经网络,包含输入层和输出层(竞争层)输出层中神经元的个数通常是聚类的个数 训练时采用“竞争学习”方式,每个输入在输出层中找到一个和它最匹配的节点,称为激活节点。紧接着用随机梯度下降法更新激活节点的参数,同时,激活节点临 ...
分类:
其他好文 时间:
2019-11-24 15:45:03
阅读次数:
87