机器学习：Principal components analysis （主分量分析）

Principal components analysis
这一讲，我们简单介绍Principal Components Analysis(PCA)，这个方法可以用来确定特征空间的子空间，用一种更加紧凑的方式（更少的维数）来表示原来的特征空间。假设我们有一组训练集$\{x^{(i)}; i=1,...m \}$，含有m个训练样本，每一个训练样本$x^{(i)} \in \mathbb{R}^{n}$,其中($n \ll m$),每一个n维的训练
样本意味着有n个属性，一般来说，这n个属性里面，会有很多是存在一定相关性的，也就是很多属性是冗余的，这就为特征的降维提供了可能，关键是如何确定多余的属性以及如何进行降维。

PCA为这个问题提供了一种解决途径，在做PCA之前，我们要先对数据做如下的预处理：

1: 求出训练集的均值向量：$\mu=\frac{1}{m} \sum_{i=1}^{m}x^{(i)}$.

2: 用每一个训练样本减去均值向量，$x^{(i)}=x^{(i)}-\mu$.

3: 求出变换后的训练集的方差：$\sigma_{j}^{2}=\frac{1}{m} \sum_{i} (x_{j}^{(i)})^{2}$.

4: 再将训练集的样本做如下替换：$x_{j}^{(i)}=x_{j}^{(i)} / \sigma_{j}$.

上面的第1,2步确保了训练集的均值为0，第3,4步保证了训练集的方差为1，使得训练样本里的不同属性变换到同一个尺度上处理。给定一个单位向量$u$和一个点$x$，那么该点$x$到单位向量的投影的长度为$x^{T} u$，如果$x^{(i)}$是训练集里的一个样本，那么它在$u$上的投影长度即为$x^{T}u$到原点的距离，因此，为了能够让这些投影之间的方差最大，我们希望找到满足如下表达式的单位向量$u$。

$$\begin{equation*} \begin{split} \frac{1}{m} \sum_{i=1}^{m} ((x^{(i)})^{T}u)^{2} & = \frac{1}{m} \sum_{i=1}^{m} u^{T}x^{(i)}(x^{(i)})^{T}u \& =u^{T} \left( \frac{1}{m} \sum_{i=1}^{m} x^{(i)}(x^{(i)})^{T} \right) u \end{split} \end{equation*}$$

因为$u$是单位向量，所以$\left \| u \right \|^{2}=1$，上式括号中的表达式即为均值为0的协方差矩阵($\Sigma=\frac{1}{m} \sum_{i=1}^{m} x^{(i)}(x^{(i)})^{T}$)，为了使目标函数最大化，则$u$应该取$\Sigma$最大的特征值所对应的特征向量。

总之，我们应该取$\Sigma$的主特征向量，如果我们希望将原来的数据空间映射到一个低维的子空间，我们可以选择$\Sigma$的前k个特征向量作为子空间的基向量，那么这k个特征向量$u_{1}, u_{2}, ... u_{k}$组成了新空间的基向量。那么我们可以将原来的训练样本$x^{(i)}$映射到新的特征空间：

$$y^{(i)}=\begin{bmatrix} u_{1}^{T}x^{(i)} \u_{2}^{T}x^{(i)} \\vdots \u_{k}^{T}x^{(i)} \end{bmatrix} \in \mathbb{R}^{k}$$

因此，虽然$x^{(i)}$是一个n维的向量，但是$y^{(i)}$变成了维数更低的向量，所以PCA是一种降维算法，其中特征向量$u_{1}, u_{2}, ... u_{k}$称为训练集的
前k个主分量。

参考来源：

Andrew Ng, “Machine Learning”, Stanford University.