码迷,mamicode.com
首页 > 其他好文 > 详细

SVM学习笔记1-问题定义

时间:2017-02-05 11:26:21      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:大小   数据   解决   rac   表示   学习笔记   max   方向   min   

问题定义: 给出一些样本,包含两类。svm试图找到一个超平面,将数据分开,并且每种样本到超平面的距离的最小值最大。

输入样本:$\{x_{i},y_{i}| 1\leq i\leq n \}$,$y_{i}\in \{-1,1\}$

超平面定义:$w^{T}x+b=0$

设某一个采样点$x^{(i)}$到超平面的距离为$\gamma^{(i)}$,那么从$x^{(i)}$作方向为w的射线,其与超平面的交点为B,采样点到B的距离为$\gamma^{(i)}$,那么B可以用这样的向量表示$B=x^{(i)}-\gamma^{(i)}\frac{w}{||w||}$。

由于B在超平面上,所以有:$w^{T}(x^{(i)}-\gamma^{(i)}\frac{w}{||w||})+b=0$
我们从中解得$\gamma^{(i)}=(\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||}$。当$y^{(i)}=1$时此值为正数,否则为负数,所以我们将其乘以$y^{(i)}$,那么此时$\gamma^{(i)}=y^{(i)}((\frac{w}{||w||})^{T}x^{(i)}+\frac{b}{||w||})$

现在令$||w||=1$,按照我们问题定义中的描述,我们要解决的问题是这样的:$max_{w,b,\gamma }$ $\gamma$,使得(1)$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$,(2)$||w||=1$

由于$||w||=1$的限制不利于求解,所以我们将求解换成如下的描述$max_{w,b,\gamma }$ $\frac {\gamma}{||w||}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq \gamma ,1 \leq i \leq n$。此时$w$的大小可以任意取。

进一步我们令$\gamma=1$,那么现在变为$max_{w,b}$ $\frac {1}{||w||}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$

最后,将求解问题变成$min_{w,b}$ $\frac{1}{2}||w||^{2}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$。

SVM学习笔记1-问题定义

标签:大小   数据   解决   rac   表示   学习笔记   max   方向   min   

原文地址:http://www.cnblogs.com/jianglangcaijin/p/6367021.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!