一、无约束优化 对于无约束的优化问题，直接令梯度等于0求解。 如果一个函数$f$是凸函数，那么可以直接通过$f(x)$的梯度等于0来求得全局极小值点。 二、有约束优化 若$f(x)，h(x)，g(x)$三个函数都是线性函数，则该优化问题称为线性规划。若任意一个是非线性函数，则称为非线性规划。 若目标 ...
分类：
其他好文 时间：
2019-09-03 14:56:50
阅读次数：
226
参考：1，https://cloud.tencent.com/developer/news/339893 2，https://www.zhihu.com/question/22199657 ...
分类：
其他好文 时间：
2019-09-03 00:10:09
阅读次数：
116
梯度的实现： 梯度下降法的实现： 神经网络的梯度 下面，我们以一个简单的神经网络为例，来实现求梯度的代码： 学习算法的实现： 前提 神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面 4 个步骤。 步骤 1（mini-batch） 从训练数据中随机 ...
分类：
编程语言 时间：
2019-09-02 13:45:39
阅读次数：
140
Sobel算子就是对图像求导，得到图像边缘梯度。 结果： 灰度图像 X轴方向梯度： Y轴方向梯度： 0.5X+0.5Y方向: ...
分类：
其他好文 时间：
2019-09-02 09:28:25
阅读次数：
64
1. 感知器有一个问题，当面对的数据集不是线性可分的时候，『感知器规则』可能无法收敛，这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。这样替换了激活 ...
分类：
其他好文 时间：
2019-09-01 18:52:34
阅读次数：
128
腐蚀操作 膨胀操作 开闭运算 梯度运算 礼帽与黑帽 礼帽 = 原始输入-开运算结果 黑帽 = 闭运算-原始输入 ...
分类：
编程语言 时间：
2019-09-01 16:58:29
阅读次数：
154
1、GBDT模型介绍； 2、GBDT回归算法 3、GBDT分类算法 4、GBDT的损失函数 5、正则化 6、GBDT的梯度提升与梯度下降法的梯度下降的关系； 7、GBDT的优缺点 1、GBDT模型介绍； GBDT(Gradient Boosting Decision Tree) 又名：MART（Mu ...
分类：
其他好文 时间：
2019-09-01 14:45:08
阅读次数：
697
使用autograd来自动求导 在机器学习中，我们通常使用梯度下降来更新模型参数从而求解。损失函数关于模型参数的梯度指向一个可以降低损失函数值的方向，我们不断地沿着梯度的方向更新模型从而最小化损失函数。虽然梯度计算比较直观，但对于复杂的模型，例如多达数十层的神经网络，手动计算梯度非常困难。 为此MX ...
分类：
其他好文 时间：
2019-09-01 13:03:57
阅读次数：
121
