径向基神经网络

标签：通过   神经元   距离   数据   线性   计算   问题   方差   over   

预备知识：

cover定理：

在复杂的模式分类问题中，将数据映射到高维空间比映射到低维空间更可能线性可分

径向基函数：

空间中的任意点到某一中心之间的欧式距离(也可以是其他的距离函数)的单调函数

径向基神经网络是由一个三层的结构组成，包括输入层，隐含层，输出层，隐含层的激活函数一般是非线性的径向基函数，输出层是线性函数或hardlim函数

普通径向基神经网络中，隐含层神经元的个数是样本的数量，径向基函数的中心是对应的样本，所求插值函数要求通过所有的样本点，即

                     F(X^p)=d^p p表示样本个数，F是插值函数

每个样本对应一个基函数，即Φ(||X-X^p||)

所以其插值函数为：

                    F(x)=∑_{p=1 to P}W_pΦ_p(||X-X^p||)

样本的维数一般小于隐含层神经元的个数，通俗来说，输入层到隐含层实现升维，隐含层到输出层实现分类或插值拟合

广义的径向基神经网络不要求隐含层的神经元数和样本数相同，神经元数小于样本数，基函数的中心由K-means决定，下面开始径向基神经网络的算法描述：

1 输入层到隐含层的权值矩阵固定为单位矩阵

2 由K-means算法选取基函数的中心

3 计算方差：σ

            σ=c_max/sqrt(2h) c_max表示中心之间的最大距离，h表示隐含层的神经元数

4 计算隐含层到输出层的权值W,由LMS算法可以直接求得

径向基神经网络

标签：通过   神经元   距离   数据   线性   计算   问题   方差   over   

原文地址：http://www.cnblogs.com/semen/p/6836361.html