码迷,mamicode.com
首页 > 其他好文 > 详细

【模式识别与机器学习】——4.2特征选择

时间:2018-10-16 16:03:56      阅读:145      评论:0      收藏:0      [点我收藏+]

标签:穷举   精度   不同类   分享   soft   特征选择   离散   info   间接   

  设有n个可用作分类的测量值,为了在不降低(或尽量不降低)分类精度的前提下,减小特征空间的维数以减少计算量,需从中直接选出m个作为分类的特征。 问题:在n个测量值中选出哪一些作为分类特征,使其具有最小的分类错误?

  从n个测量值中选出m个特征,一共有 中可能的选法。 一种“穷举”办法:对每种选法都用训练样本试分类一下,测出其正确分类率,然后做出性能最好的选择,此时需要试探的特征子集的种类达到 种,非常耗时。 需寻找一种简便的可分性准则,间接判断每一种子集的优劣。 对于独立特征的选择准则 一般特征的散布矩阵准则

  对于独立特征的选择准则 类别可分性准则应具有这样的特点,即不同类别模式特征的均值向量之间的距离应最大,而属于同一类的模式特征,其方差之和应最小。 假设各原始特征测量值是统计独立的,此时,只需对训练样本的n个测量值独立地进行分析,从中选出m个最好的作为分类特征即可。

技术分享图片

讨论:

  上述基于距离测度的可分性准则,其适用范围与模式特征的分布有关。 三种不同模式分布的情况 (a) 中特征xk的分布有很好的可分性,通过它足以分离?i和?j两种类别; (b) 中的特征分布有很大的重叠,单靠xk达不到较好的分类,需要增加其它特征; (c) 中的?i类特征xk的分布有两个最大值,虽然它与?j的分布没有重叠,但计算Gk约等于0,此时再利用Gk作为可分性准则已不合适。 因此,假若类概率密度函数不是或不近似正态分布,均值和方差就不足以用来估计类别的可分性,此时该准则函数不完全适用。

技术分享图片技术分享图片

技术分享图片

  类内、类间的散布矩阵Sw和Sb 类间离散度越大且类内离散度越小,可分性越好。 散布矩阵准则J1和J2形式 使J1或J2最大的子集可作为所选择的分类特征。 注:这里计算的散布矩阵不受模式分布形式的限制,但需要有足够数量的模式样本才能获得有效的结果

 技术分享图片

 

【模式识别与机器学习】——4.2特征选择

标签:穷举   精度   不同类   分享   soft   特征选择   离散   info   间接   

原文地址:https://www.cnblogs.com/chihaoyuIsnotHere/p/9797840.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!