标签：竞争学习 神经网络 自组织网络 模式聚类 无监督学习算法
竞争学习是自组织网络中最常采用的一种学习策略。
实验表明，当一个神经元细胞兴奋后，会对周围神经元的神经细胞产生抑制作用，使得神经细胞之间出现竞争，开始可能多个细胞兴奋，但是一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也越强，其结果使得周围神经元细胞兴奋程度减弱，从而该神经元细胞在这次竞争中胜出，其他神经元失败。下图所示的网络在竞争层各神经元之间的虚连接线表明了这种抑制作用。它们是模拟生物神经网络层内神经元相互抑制现象的权值。这类抑制性权值通常满足一定的分布关系，如距离远的抑制作用弱，距离近的抑制作用强。这种权值在学习算法中通常固定。采用的竞争学习方法就是上一篇博文《人工神经网络基础概念、原理知识（补）》中所总结的神经网络三要素之学习中“胜者为王”的方法。
由于不同的模式具有的单位不统一，因此在进行数据处理前，会将模式向量进行规范化(normalization)，即单位长度，所以在进行相似性度量时方便计算。比如二维和三维单位向量可以在单位圆和单位球上直观表示。这里单独作为一小节进行描述是为了突出这一点的重要性，因为在机器学习中大部分时候输入模式都是向量，而且通常都会采用normalization进行预处理。
采用的是“胜者为王”的学习规则。分为三个步骤：
首先将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj全部进行归一化处理。
当网络得到一个输入模式向量X时，竞争层的所有神经元对应的内星权向量均与X进行相似性比较，将与X最相似的内星权向量判为竞争获胜神经元，其权向量记为Wj。测量相似性的方法就按照上面所讲解的方法。
胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为0。只有获胜神经元才有权调整其权向量，调整后权向量为如下图所示：
α∈（0,1]为学习率，一般随着学习的进展而减小。从式中可以看出当竞争失败后，对应的神经元权重就无法进行调节，所谓调节也就是兴奋，没有机会兴奋，所以从原理上模拟了侧抑制与竞争。
注意：归一化后的权向量在调整之后得到的新向量不再是单位向量，因此还需进行单位化。
步骤（3）完成之后回到步骤（1）继续训练，直到学习速率α衰减到0或规定的值。
以输入模式为2维，即输入层有两个神经元，而竞争层有四个神经元为例。则输入向量X为二维，而四个竞争层神经元的内星权值也是二维向量。归一化后可以分布在单位圆上的向量进行标示。下面对竞争学习原理进行说明：
用圆圈标示输入模式，用星号标示内星权向量。输入模式点的分布如下图所示：
从它的分布上可以看出大体上聚集为4簇，因而可分为4类。然而自组织网络的训练样本中只提供了输入模式，而没有分类的指导信息，即无监督学习。那么网络如何通过竞争机制自动发现空间的类别划分呢？
自组织网络在开始训练前先对竞争层的权向量进行随机初始化，因此初始状态时，单位圆上的星号是随机分布的。自组织权向量调整如下图所示：
距离当前输入模式最近的那个星号获胜，从获胜神经元的权值调整式子可以看出，调整的结果使得该星号与当前输入模式进一步接近。调整后，获胜的星号位置进一步移向输入模式及其所在的簇。显然，当下次出现与该输入模式相近的同簇内的输入模式时，上次获胜的星号更容易获胜。以此方式经过充分训练后，单位圆上的4个星点会逐渐移入各个输入模式的簇中心，从而使竞争层每个神经元的权向量成为一类输入模式的聚类中心。当向网络输入一个模式时，竞争层中哪个神经元获胜使得输出为1，当前输入模式就归属哪类。
************************
2015-8-14
艺少
版权声明：本文为博主原创文章，未经博主允许不得转载。
标签：竞争学习 神经网络 自组织网络 模式聚类 无监督学习算法
原文地址：http://blog.csdn.net/lg1259156776/article/details/47663879
