Python 实现简单的梯度下降法 机器学习算法常常可以归结为求解一个最优化问题，而梯度下降法就是求解最优化问题的一个方法。 梯度下降法（gradient descent）或最速下降法（steepest decent），是求解无约束最优化问题的一种最常用的方法。 梯度下降法实现简单，是一种迭代算法， ...
分类：
编程语言 时间：
2019-06-30 09:32:22
阅读次数：
116
无约束极小值的最优化条件： 关于多元函数极小值点的必要条件： 满足的点称之为f(x)的驻点或稳定点，但是反过来，满足梯度条件的点不一定是f(x)的局部极小值。因此，定理转化为求解下面的方程组问题： 对于上面的线性方程组，利用解析法（如高斯消元法、矩阵三角分解法等）可以较方便求解，但是遗憾的是，f(x ...
分类：
其他好文 时间：
2019-06-15 11:54:10
阅读次数：
146
@ "TOC" 1.递推 讲到动态规划就不得不提到递归，递推是经常被使用的一种简单算法。递推 是一种用若干步可重复的简单运算来描述复杂问题的方法。 递推 的特点在于，每一项都和他前面的若干项有一定关联，这种关联一般可以通过 递推关系式 来表示，可以通过其前面若干项得出某项的数据。对于递推问题的求解一 ...
分类：
其他好文 时间：
2019-06-01 13:58:35
阅读次数：
121
题目 大意: 边权为1 使遍历树时到每个节点的时间加上点权的最大值最小 求这个最小的最大值 思路: 最优化问题 一眼树形DP 考虑状态设立 先直接以答案为状态 dp[u] 为遍历完以u为根的子树的答案 再考虑状态转移 dp[u]=MAX(dp[to]+1,siz+dp[to]);siz为枚举子树到以 ...
分类：
其他好文 时间：
2019-05-29 22:09:30
阅读次数：
191
承接上一篇：拉格朗日乘子法和KKT条件 优化理论中，目标函数f(x)有多种形式：目标函数和约束条件都是x的线性函数，称最优化问题为线性规划；目标函数为二次函数，约束条件为线性函数，称最优化问题为二次规划；目标函数或约束条件为非线性函数，称最优化问题为非线性规划。 每个线性规划问题都有对应的对偶问题， ...
分类：
其他好文 时间：
2019-05-25 11:23:34
阅读次数：
132
判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。 本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。由于QDA ...
分类：
其他好文 时间：
2019-05-06 19:07:09
阅读次数：
176
动态规划 动态规划是运筹学的一个分支，是求解多阶段决策过程最优化问题的数学方法，在经济管理、工程技术、工农业生产及军事部门中都有着广泛的应用，并且获得了显著的效果。 学习动态规划，我们首先要了解多阶段决策问题。 多阶段决策问题例子： 最短路径问题 背包问题 生产决策问题：企业在生产过程中，由于需求是 ...
分类：
其他好文 时间：
2019-03-22 23:02:46
阅读次数：
285
恢复内容开始 对于图像的分类 线性分类器的组成：1.评分函数：将原始图像数据到类别分值的映射。2.损失函数：用来量化预测分类标签的得分与真实标签之间一致性的。该方法可转化为一个最优化问题，在最优化过程中，将通过更新评分函数的参数来最小化损失函数值。 一. 从原始图像到标签类别分值的参数化映射 评分函 ...
分类：
其他好文 时间：
2019-02-01 21:11:03
阅读次数：
224
题目大意：给定一棵树，求一条长度在L到R的一条路径，使得边权的平均值最大。 题解 树上路径最优化问题，不难想到点分治。 如果没有长度限制，我们可以套上01分数规划的模型，让所有边权减去mid，求一条路径长度非负。 现在考虑有L和R的限制，就是我们在拼接两条路径的时候，每条路径能够匹配的是按深度排序后 ...
分类：
其他好文 时间：
2018-12-22 11:52:17
阅读次数：
143
Dynamaic Programming 定义&内容: 动态规划是运筹学中用于求解决策过程中的最优化数学方法。作为算法设计技术，是一种使用多阶段决策过程最优的通用方法。是解决最优化问题的重要工具。 多阶段决策过程: 百科:多阶段决策是指决策者在整个决策过程中做出时间上先后有别的多项决策。它通常比只需 ...
分类：
其他好文 时间：
2018-12-13 16:33:54
阅读次数：
193
