机器学习： 特征脸算法 EigenFaces

人脸识别是机器学习和机器视觉领域非常重要的一个研究方向，而特征脸算法是人脸识别里非常经典的一个算法，EigenFaces 是基于PCA (principal component analysis) 即主分量分析的。

一张尺寸为 $w \times h$ 的人脸图像 $I_{i}$可以看成是一个 $D \times 1$ 的列向量, $\mathbf{x} \in R^{D}$，其中 $D=w \times h$， 那么，给定一个训练集 $S$， 含有 $m$ 张人脸图像, 即: $S=\{\mathbf{x}_{i}\}, i=1,2,...m$， 简单来说，我们希望通过一些线性映射，将原始向量 $\mathbf{x}$ 从高维空间 $R^{D}$ 变换到一个低维空间 $R^{K}$， $K \ll D$.

利用PCA 分析：
1: 先求训练集 $S$ 的均值向量 $\bar{\mathbf{x}}=\frac{1}{m}\sum_{i=1}^{m}\mathbf{x}_{i}$

2: 向量去均值：$\Phi_{i}=\mathbf{x}_{i}-\bar{\mathbf{x}}$

3: 求协方差矩阵 $C=\frac{1}{m}\sum_{i=1}^{m} \Phi_{i} \Phi_{i}^{T}$, 如果我们定义 $A=[\Phi_{1}, \Phi_{2}, ..., \Phi_{m}]$, $A \in R^{D \times m}$, 那么 $C=AA^{T}$

4: 特征值分解: $C\boldsymbol{u}_{i}=\gamma_{i} \boldsymbol{u}_{i}$

我们知道协方差矩阵是一个高维矩阵 $C\in R^{D \times D}$. 如果直接进行特征分解，无疑是非常消耗资源也很费时的。特征脸算法做了一个非常巧妙的变换，我们先来看 $A^{T}A$ 的特征值分解，因为 $A^{T}A \in R^{m \times m}$，比起 $C$ 来说，维度要小得多。我们可以得到：

$A^{T}A \boldsymbol{v}_{i} = \lambda_{i} \boldsymbol{v}_{i}$ 进一步可以得到:

$AA^{T} A \boldsymbol{v}_{i} = \lambda_{i} A\boldsymbol{v}_{i}$ 即：

$C A \boldsymbol{v}_{i} = \lambda_{i} A\boldsymbol{v}_{i}$ 所以我们看到:

$C\boldsymbol{u}_{i}=\lambda_{i} \boldsymbol{u}_{i} \quad \boldsymbol{u}_{i} = A\boldsymbol{v}_{i}$

换句话说，$AA^{T}$ 与 $A^{T}A$ 有相同的特征值，而特征向量满足如下关系：

$\boldsymbol{u}_{i} = A\boldsymbol{v}_{i}$

严格说来，$AA^{T} \in R^{D \times D}$， 最多可以有 $D$ 个 特征值与特征向量。

而 $A^{T}A \in R^{m\times m}$, 最多可以有 $m$ 个 特征值与特征向量。

$A^{T}A$ 中的 $m$ 个 特征值与特征向量 对应 $AA^{T}$ 中 前 $m$ 个最大的特征值以及特征值相对应的特征向量。

所以通过这种变换， 可以非常快速地求得 $AA^{T}$ 的特征向量 $\boldsymbol{u}_{i} = A\boldsymbol{v}_{i}$。

5: 将特征值从大到小排序，截取前面 $K$ 个特征值及对应的特征向量。我们可以用特征向量的线性组合来表示原来的去均值向量，即：

$\mathbf{x}_{i}-\bar{\mathbf{x}}= \Phi_{i}= \sum_{j=1}^{K} w_{j} \boldsymbol{u}_{j}$

$w_{j}=\Phi_{i}^{T} \boldsymbol{u}_{j}$

如果定义， $\Omega=[w_{1}, w_{2}, ..., w_{K}]$, $U=[\boldsymbol{u}_{1}, \boldsymbol{u}_{2}, ..., \boldsymbol{u}_{K}]$, 那么可以得到

$\Omega=\Phi_{i}^{T} U$， 我们看到，通过引入 Eigenfaces, 我们将高维向量 $\Phi_{i}$ 映射到低维向量 $\Omega$ 。

做人脸识别的时候，我们可以先将训练集中的每个subject的人脸图像映射到低维空间$\Omega_{1}, \Omega_{2},... \Omega_{q}$, $q$ 表示subject 的个数。给定一个测试样本 $\mathbf{x}$，先做去均值，$\Phi=\mathbf{x}-\bar{\mathbf{x}}$，然后再映射到低维空间，得到低维向量 $\Omega$，我们要求解如下的目标函数：

进而确定测试样本属于哪个subject。