码迷,mamicode.com
首页 > 其他好文 > 详细

R与数据分析旧笔记(十二)分类 (支持向量机)

时间:2015-10-15 23:46:23      阅读:494      评论:0      收藏:0      [点我收藏+]

标签:

支持向量机(SVM)

支持向量机(SVM)

  • 问题的提出:最优分离平面(决策边界)
    技术分享

优化目标

  • 决策边界边缘距离最远
    技术分享

数学模型

技术分享

问题转化为凸优化

技术分享

拉格朗日乘子法——未知数太多

技术分享

KKT变换和对偶公式

技术分享

问题的解决和神经网络化

  • 对偶公式是二次规划问题,有现成的数值方法可以求解
  • 大部分的拉格朗日乘子为0,不为0的对应于“支持向量”(恰好在边界上的样本点)
  • 只要支持向量不变,修改其他样本点的值,不影响结果,当支持变量发生改变时,结果一般就会变化
  • 求解出拉格朗日乘子后,可以推出wb,判别函数可以写成以下神经网络的样式
    技术分享

支持向量机神经网络

技术分享

R与数据分析旧笔记(十二)分类 (支持向量机)

标签:

原文地址:http://www.cnblogs.com/XBlack/p/4883865.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!