标签：机器 kernel line lin tps phi spl over 学习
参考：LDA kernel LDA
kernel LDA 用到了散度(scatter)的概念，目标是使样本点在高维空间中的投影满足：类内散度最小，类间散度最大。即：
\[
J(W^\phi)=argmax_{(W^\phi)}\frac{W^{\phi T} S_b^\phi W^\phi}{W^{\phi T} S_w^\phi W^\phi}\\begin{align}
其中，&\phi 表示高维空间下的;\&S_b^\phi类间散度，S_b^\phi=\sum_{i=1}^{C}N_i(\mu_i-\mu)(\mu_i-\mu)^T; \&S_w^\phi类内散度，S_w^\phi=\sum_{i=1}^{C}\sum_{\phi(x_j)∈X_i}(\phi(x_j)-\mu_i)(\phi(x_j)-\mu_i)^T;\&W^\phi是单位正交化的特征向量矩阵，即高维空间中的坐标轴w^\phi，\&w^\phi=\sum_{i=1}^N\alpha_i\phi(x_i)这是未知的，难以直接计算的，需要借助核函数。\\end{align}
\]
将核函数引入之后：
\[
J(\alpha)=argmax_{(\alpha)}\frac{|\alpha^TG_b\alpha|}{|\alpha^TG_w\alpha|}\\begin{align}
其中，&G_b=\sum_{i=1}^{C}N_i(m_i-\overline m)(m_i-\overline m)^T\&G_w=\sum_{i=1}^{C}\sum_{K_j∈X_i}(K_j-m_i)(K_j-m_i)^T\&m_i=\frac{1}{N_i}\sum_{j=1}{N_i}K_j\&K_j=(k(x_i,x_1),...,k(x_i,x_N))^T&K_j为核函数矩阵的一个列向量
\end{align}\\]
标签：机器 kernel line lin tps phi spl over 学习
原文地址：https://www.cnblogs.com/zzzack/p/9749636.html
