https://www.cnblogs.com/lliuye/p/9451903.html 梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量 ...
分类：
其他好文 时间：
2019-07-14 11:19:49
阅读次数：
100
''' 岭回归： 普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数， 在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响， 异常值对模型所带来影响无法在训练过程中被识别出来。为此，岭回归在模型迭代过程所依据的损失函数中增加了正则... ...
分类：
其他好文 时间：
2019-07-14 09:37:12
阅读次数：
140
本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！ 梯度下降的场景假设 梯度下降法的基本思想可以类比是一个下山的过程。可以假设一个场景：一个人上山旅游，天黑了，需要下山（到达山谷），这时候他看不清路，为了最快的下山，他 ...
分类：
其他好文 时间：
2019-07-12 18:53:38
阅读次数：
126
误差反向传播算法（error back propagtion training），BP。BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力。解决了简单感知不能解决异或和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层。本质上，BP算法就是以网络误差平方为目标函数，采用梯度下降 ...
分类：
其他好文 时间：
2019-07-11 19:58:18
阅读次数：
125
机器学习模型的参数和超参数 参数 ：模型参数，可以用数据进行估计，是模型内部的配置变量，通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。例如人造神经网络中的权重、支持向量机中的支持向量、 线性回归或逻辑回归中的系数 超参数 ：必须手动设置，是模型外部的配置变量，模型超参数常 ...
分类：
编程语言 时间：
2019-07-10 22:54:07
阅读次数：
140
一个自然的问题给定一个$n$维$C^1$向量$\vec{A}(x)$, 能否找到一个位势函数$u$使得， $\nabla u=\vec{A}$? 当$\forall i\neq j$, $\frac{\partial A_{i}(x)}{\partial x_j}=\frac{\partial A_ ...
分类：
其他好文 时间：
2019-07-10 09:14:36
阅读次数：
108
DNN中梯度消失和梯度爆炸的原因推导 因为手推涉及很多公式，所以这一截图放出。 ...
分类：
其他好文 时间：
2019-07-05 22:39:56
阅读次数：
121
一、梯度下降 引入：当我们得到了一个目标函数后，如何进行求解？直接求解吗？（并不一定可以直接求解，线性回归可以当做是一个特例） 梯度：梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。在机器 ...
分类：
其他好文 时间：
2019-07-04 00:46:28
阅读次数：
118
[TOC] 参考地址： https://www.zhihu.com/question/65350200 https://github.com/GreedyAIAcademy/Machine Learning https://zhuanlan.zhihu.com/p/70587472 线性回归 方程 ...
分类：
其他好文 时间：
2019-07-02 22:57:59
阅读次数：
291
累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。 在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。 根本原因是sigmoid函数的缺陷。 方法： 1、好的初始化方法，逐层预训练，后向传播微调。 2、换激活函数，用relu，leaky——relu。靠的 ...
分类：
其他好文 时间：
2019-06-30 17:28:46
阅读次数：
645
