题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5531 Problem Description Archaeologists find ruins of Ancient ACM Civilization, and they want to rebuil ...
分类：
其他好文 时间：
2019-09-10 22:11:39
阅读次数：
116
1 拉格朗日乘子法基本概念 拉格朗日乘子法是在约束条件$g(x_1,x_2,...)=0$下，计算函数$f(x_1,x_2,...)$极值的方法。 以二元函数为例，约束条件为$g(x,y)=0$，求函数$f(x,y)$的极值，定义一个新的函数$F(x,y,\lambda)=f(x,y)+\lambd ...
分类：
其他好文 时间：
2019-07-31 22:19:36
阅读次数：
225
最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。# 一、1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：$$目标... ...
分类：
其他好文 时间：
2019-07-19 18:48:57
阅读次数：
107
这一部分还是二分好用（因为二分好写） 三分在求非单调函数极值有大用 二分主要思路就是每次将当前区间分为两部分，当前接肯定在中点，左区间与右区间之中，那么把不合理的区间抛弃，就可以极快地求出解 例题： 愤怒的牛（很像跳石头） 农夫 John 建造了一座很长的畜栏，它包括N (2 ≤ N ≤ 100,0 ...
分类：
其他好文 时间：
2019-06-09 12:54:15
阅读次数：
94
算法介绍：梯度下降算法是一种利用一次导数信息求取目标函数极值的方法，也是目前应用最为广泛的局部优化算法之一。其具有实现简单、容易迁移、收敛速度较快的特征。在求解过程中，从预设的种子点开始，根据梯度信息逐步迭代更新，使得种子点逐渐向目标函数的极小值点移动，最终到达目标函数的极小值点。注意，沿梯度正向移 ...
分类：
编程语言 时间：
2018-12-07 01:33:36
阅读次数：
329
原理 梯度下降是一个很常见的通过迭代求解函数极值的方法，当函数非常复杂，通过求导寻找极值很困难时可以通过梯度下降法求解。梯度下降法流程如下： ![image.png 10.8kB][1] 上图中，用大写字母表示向量，用小写字母表示标量。 假设某人想入坑，他站在某点，他每移动一小步，都朝着他所在点的梯 ...
分类：
其他好文 时间：
2018-11-25 13:23:24
阅读次数：
206
拉格朗日乘数法 拉格朗日乘数法是一个理论结果，用于求解带有等式约束的函数极值。对于如下问题： 构造拉格朗日乘子函数： 在最优点处对x和乘子变量的导数都必须为0： 解这个方程即可得到最优解。对拉格朗日乘数法更详细的讲解可以阅读任何一本高等数学教材。 机器学习中用到拉格朗日乘数法的地方有： 主成分分析 ...
分类：
其他好文 时间：
2018-08-21 12:15:32
阅读次数：
135
基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数 f(x1,x2,...) 在 g(x1,x2,...)=C 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ （即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的... ...
分类：
其他好文 时间：
2018-08-15 12:06:13
阅读次数：
267
1 import numpy 2 import matplotlib.pyplot as plt 3 import random 4 import operator 5 6 x_label=[] 7 y_label=[]#将每一步迭代的结果存储到列表中,便于画图 8 class GA(object)... ...
分类：
编程语言 时间：
2018-03-11 00:30:47
阅读次数：
165
关于粒子群优化算法(PSO)的解释：http://blog.csdn.net/myarrow/article/details/51507671 （等网上各种参考资料） 用PSO找函数极值。 构造了一个二元函数，很明显，有极小值，在（50， 50）。 用五个粒子去找。每个点对应的函数输出值即视为粒子的 ...
分类：
编程语言 时间：
2017-12-04 19:11:28
阅读次数：
236
