码迷,mamicode.com
首页 > 编程语言 > 详细

最邻近规则分类KNN算法

时间:2017-07-26 17:49:57      阅读:134      评论:0      收藏:0      [点我收藏+]

标签:判断   通过   实例   技术分享   width   img   images   细节   log   

例子:

技术分享

 

  • 求未知电影属于什么类型:

技术分享

 

算法介绍:

步骤:

  •    为了判断未知实例的类别,以所有已知类别的实例作为参照
  •      选择参数K
  •      计算未知实例与所有已知实例的距离
  •      选择最近K个已知实例
  •      根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别

 细节:

  • 关于K的选择
  • 关于距离的衡量方法:

技术分享

 

技术分享

其他距离衡量:余弦值(cos), 相关度 (correlation), 曼哈顿距离 (Manhattan distance)
 
 
算法优点:
  •   简单。
  •       易于理解。
  •       容易实现。
  •       通过对K的选择可具备丢噪音数据的健壮性。

 

算法缺点:

  •   需要大量空间储存所有已知实例。
  •       算法复杂度高(需要比较所有已知实例与要分类的实例)。
  •       当其样本分布不平衡时,比如其中一类样本过大(实例数量过多)占主导的时候,新的未知实例容易被归类为这个主导样本,因为这类样本实例的数量过大,但这个新的未知实例实际并木接近目标样本。

技术分享

 



 

最邻近规则分类KNN算法

标签:判断   通过   实例   技术分享   width   img   images   细节   log   

原文地址:http://www.cnblogs.com/bahcelor/p/7239997.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!