机器学习___ELM

一.带有随机隐藏节点的单隐层前馈神经网络

　1.相关条件：

• N个不同样本($x_i,t_i$), $x_i$=$[x_{i1},x_{i2},x_{i3},........,x_{in}]^T$, $t_i$=$[t_{i1},t_{i2},t_{i3},........,t_{im}]^T$
• 第i个隐藏节点和输入节点间的权重向量：$w_i=[w_{i1},w_{i2},........w_{in}]^T$
• 第i个隐藏节点的阀值：$b_i=[b_{i1},b_{i2},........b_{in}]^T$
• 第i个隐藏节点和输出节点间的权重向量：$\beta_i=[\beta_{i1},\beta_{i2},........\beta_{in}]^T$
• 激活函数：g(x)

　2.方程改写：

• SLFNs ： $\sum_{i=1}^{N^`}\beta_i g(w_i *x_j + b_i)$ = $t_j$, 简写成：H$\beta$=$T$

• 其中
  

　3.简易模型：

　4.两个相关定理(可以自行证明)：

• 定理 1： 给定一个具有N个隐藏节点以及在任何区间都无限可导的激活函数的标准SLFN。对N个任意不同样本，，SLFN在随机产生的情况下，形成的隐藏层输出矩阵H是可逆的，且
• 定理 2. 对于任意小的，及在任何区间都无限可导的激活函数，对N个任意不同样本，，总存在个隐节点的SLFN，使得在随机产生的情况下。

二.SLFNs的最小范数的最小二乘(LS)

1. 由定理1，2可知：只要激活函数无限可导，输入权重和隐藏层阀值可以随机分配, (即：可认为$w_i,\beta_i$已知)，因此训练SLFNs等价于找到H$\beta$=$T$的一个最小二乘解 $\beta^*$
2. 其中根据相容方程组：$\beta^* = H^+T$ 　 ($H^+$是H的广义逆)

三.ELM算法

　给定训练样本集合N个不同样本($x_i,t_i$)，激活函数g(x)和隐藏单元个数$N^*$

1. 任意指定输入权值和阈值$w_i,b_i (i = 1,....N^*)$；
2. 计算隐藏层输出矩阵H；

3. 计算输出权重$\beta$: $\beta^* = H^+ T$
   其中$T = [t_1,t_2,.......t_N]^T$