标签：形式 说明 倒数 范围 str 理解 支持向量机 sub 样本
在SVM中，我们的超平面参数最终只与间隔边界上的向量（样本）有关，故称为支持向量机。
求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||2/2，约束条件为yi(wTxi+b)>=1
因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时，对偶问题=原始问题。
关于约束：
1. 目标函数极值点在约束范围内：此时不等式约束失效，问题即退化为无约束优化问题。
这个很好理解，函数只有一个极值点，如果在约束范围内，直接对函数求极值点即可。
2. 目标函数极值点在约束范围外：最优解一定在可行域边界； 且满足在该点处的两个函数的梯度方向相反。
关于这点，很多人从梯度方向去解释，其实有个更简单的解释：反证法，目标函数的极值点在约束范围外，假设最优解不在边界，而在约束范围内，那么这个最优解将是另一个极值点，这与凸的目标函数只有一个极值点矛盾，故最优解必在约束边界。
而所谓KKT条件的形式，即以上2点说明的内涵。
标签：形式 说明 倒数 范围 str 理解 支持向量机 sub 样本
原文地址：https://www.cnblogs.com/lunge-blog/p/11617047.html
