恢复内容开始 梯度下降的定义: 梯度下降是一种因为计算机储存及能力有限,采取逐步逼近,迭代求解的方法. 梯度下降的步骤: 任取一点作为起始点 查看在当前点向那个方向移动能得到最小的z值,并向该方向移动. 重复该步骤,直到无法找到更小的z值,此时认为达到最低点. 几个基础的算法概念: 步长:是每一次梯 ...
分类：
其他好文 时间：
2019-06-22 19:49:01
阅读次数：
133
在反向传播过程中，神经网络需要对每一个loss对应的学习参数求偏导，算出的这个值也就是梯度，用来乘以学习率更新学习参数使用的，它是通过tensorflow中gradients函数使用的。 我们根据官方文档对函数原型进行解析 官方文档中函数原型以及参数如下： ys和xs都是张量或者张量列表。函数tf. ...
分类：
Web程序 时间：
2019-06-16 13:36:56
阅读次数：
1043
无约束极小值的最优化条件： 关于多元函数极小值点的必要条件： 满足的点称之为f(x)的驻点或稳定点，但是反过来，满足梯度条件的点不一定是f(x)的局部极小值。因此，定理转化为求解下面的方程组问题： 对于上面的线性方程组，利用解析法（如高斯消元法、矩阵三角分解法等）可以较方便求解，但是遗憾的是，f(x ...
分类：
其他好文 时间：
2019-06-15 11:54:10
阅读次数：
146
本篇文章是针对学习《深度学习入门》(由日本学者斋藤康毅所著陆羽杰所译)中关于神经网络的学习一章来总结归纳一些收获。 本书提出神经网络的学习分四步:1.mini-batch 2.计算梯度 3.更新参数 4.重复前面步骤 1.从识别手写数字项目学习神经网络 所谓“从数据中学习”是指 可以由数据#自动决定 ...
分类：
其他好文 时间：
2019-06-12 21:11:15
阅读次数：
98
梯度下降算法的大家族： ①批量梯度下降：有N个样本，求梯度的时候就用了N个样本的梯度数据 优点：准确 缺点：速度慢 ②随机梯度下降：和批量梯度下降算法原理相似，区别在于求梯度时没有用所有的N歌样本数据，而是仅仅选取1个来求梯度 优点：速度快 缺点：准去率地 ③小批量梯度下降：批量梯度下降算法和随机梯 ...
分类：
编程语言 时间：
2019-06-12 18:05:34
阅读次数：
144
书中重要定义及一些理解 先通过介绍逻辑史蒂的分布来引出logist模型 而通过极大似然法来推导模型的参数估计问题 通过对模型参数的似然函数通过求导来得到递归方程 通过公式可以看出logist是对前面的感知机的升级版，感知机的判断方式过于简单。而其梯度下降的时候也将sign的去掉了，否则无法微分。 后 ...
分类：
其他好文 时间：
2019-06-12 11:03:38
阅读次数：
94
形态学转换 腐蚀 膨胀 先进性腐蚀再进行膨胀就叫做开运算。就像我们上面介绍的那样，它被用来去除噪声。这里我们用到的函数是 cv2.morphologyEx()。 图像梯度 梯度简单来说就是求导，对于像素点的分布曲线求导，然后在像素变化较大的地方即为边缘，通过求导可以求出边缘的位置。 OpenCV 提 ...
分类：
其他好文 时间：
2019-06-08 11:35:57
阅读次数：
113
本文参考 "深入浅出 梯度下降法及其实现" ，对后面将公式转化为矩阵的形式加了些解释，便于大家理解。 梯度下降 是用来求函数最小值点的一种方法，所谓梯度在一元函数中是指某一点的斜率，在多元函数中可表示为一个向量，可由偏导求得，此向量的指向是函数值上升最快的方向。公式表示为： $$ \nabla J( ...
分类：
其他好文 时间：
2019-06-07 23:14:57
阅读次数：
131
在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivaria ...
分类：
其他好文 时间：
2019-06-06 10:46:39
阅读次数：
135
在许多线性回归问题中都可以选择最小二乘法作为代价函数，在之前的文章线性代数——最小二乘法和投影矩阵中讲到过，系数项是可以通过公式 x=(ATA)^-1*ATb 一次性求到的，然而大量的训练数据可能使得ATA没有逆，即便是利用伪逆，其计算量也会很大，所以才有了梯度下降来迭代系数的方法。 梯度下降法分许 ...
分类：
其他好文 时间：
2019-06-05 20:14:17
阅读次数：
114
