码迷,mamicode.com
首页 > 其他好文 > 详细

【机器学习基石笔记】二、感知机

时间:2017-09-08 01:14:24      阅读:198      评论:0      收藏:0      [点我收藏+]

标签:怎么办   长度   问题   机器   决定   停止   优缺点   原因   sig   

感知机算法:

1、首先找到点,使得sign(wt * xt) != yt,

  那么如果yt = 1,说明wt和xt呈负角度,wt+1 = wt + xt能令wt偏向正角度。

  如果yt = -1, 说明xt和wt呈正角度,wt+1 = wt - xt 能令wt偏向负角度。

  总之,参数更新为wt+1 = wt + yt * xt

2、直到分好为止。数据需要线性可分。

 

算法证明:

1、假设wf是正确的,证明wn和wf越来越接近,内积越来越大

wf * wt+1 = wf*wt + wf*yt*xt > wf * wt, 原因是对任何t,wf分类正确,那么sign(wf * xt) = yt,那么wf * yt * xt > 0

2、wt增长的不太快

||wt+1|| = ||wt|| + ||xt|| - 2wt * yt * xt < ||wt|| + ||xt||

3、角度变化

内积增长量级是n, 长度增长量级是sqrt(n),所以会收敛。

 

优缺点:

优点:简单、易实现、高维也可以。

缺点:线性可分、停止时间(由wf决定)

 

线性不可分怎么办

1、Min犯错误的点, np-hard问题。

pocket 贪心算法

2、就瞎跑

【机器学习基石笔记】二、感知机

标签:怎么办   长度   问题   机器   决定   停止   优缺点   原因   sig   

原文地址:http://www.cnblogs.com/yesuuu/p/7492616.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!