机器学习 第二讲：矩阵的基本运算

矩阵的基本概念

假设 $a_{ij} \in \mathfrak{R}$, 其中 $i=1,2,...,m$; $j=1,2,...,n$. 我们定义如下的行列式：

$$\begin{equation*} \mathbf{A}= \begin{bmatrix} a_{11}& a_{12} & \cdots & a_{1n}\ a_{21}& a_{22} & \cdots & a_{2n}\ \vdots & \vdots & & \vdots \ a_{m1}& a_{m2} & \cdots & a_{mn} \end{bmatrix} \end{equation*}$$
是一个维数为 $m \times n$ 的实数矩阵。有时候我们会用如下的表达式来表示一个矩阵：
$$\begin{equation*} \mathbf{A}=[a_{ij}], \quad i=1,2,...,m; j=1,2,...,n \end{equation*}$$
这表示一个$m$行$n$列的矩阵，下标的第一个数$i$表示行，第二个数$j$表示列。
列向量定义： 一个向量可以看成是只有一列的矩阵，所以，这里讨论的所有向量都默认为列向量。
符号定义： 矩阵用大写的粗体字母表示，比如矩阵$\mathbf{A,B,X}$, 而向量用小写的粗体字母表示，比如向量$\mathbf{a,b,x}$.
矩阵的转置： 矩阵$\mathbf{A}$的转置为$\mathbf{A}^T$.
矩阵的逆： 如果一个矩阵$\mathbf{A}$存在逆矩阵，则该逆矩阵表示为$\mathbf{A}^{-1}$.
矩阵的 determinant: 如果一个矩阵$\mathbf{A}$是一个方阵，则它的determinant表示为$\mathbf{|A|}$
单位矩阵表示为 $\mathbf{I}$, 零矩阵或空矩阵表示为$\mathbf{0}$。
矩阵的迹： 如果一个矩阵是 $n \times n$ 的方阵，则该矩阵的迹(trace) 为 $\text{tr}\mathbf{A}=\sum_{i=1}^{n} a_{ii}$， 等于所有主对角线元素之和，一个实数的迹是它本身，
矩阵的迹满足下列关系：
$$\begin{equation*} \text{tr} \mathbf{A}^{T}=\text{tr} \mathbf{A} \qquad \text{tr} \mathbf{AB}=\text{tr} \mathbf{BA} \qquad \text{tr} \mathbf{ABC}=\text{tr} \mathbf{CAB} =\text{tr} \mathbf{BCA} \end{equation*}$$

矩阵的乘法

设 $\mathbf{A}$ 是一个 $m\times n$ 的矩阵，$\mathbf{B}$ 是一个 $n\times p$的矩阵, 则两者的乘积$\mathbf{A} \mathbf{B}$ 表示为：

$$\begin{equation*} \mathbf{C}=\mathbf{A} \mathbf{B} \end{equation*}$$
其中 $\mathbf{C}$ 是一个 $m\times p$ 的矩阵，$\mathbf{C}$ 中的任意一个元素 $c_{ij}$ 表示为：
$$\begin{equation*} c_{ij}=\sum_{k=1}^{n} a_{ik}b_{kj} \quad i=1,2,...,m; j=1,2,...,n \end{equation*}$$
类似的，一个$m \times n$ 的矩阵 $\mathbf{A}$ 与一个$n \times 1$ 的列向量 $\mathbf{x}$相乘, 等于
$$\begin{equation*} \mathbf{z}=\mathbf{A} \mathbf{x} \qquad z_{i}=\sum_{k=1}^{n} a_{ik}x_{k} \quad i=1,2,...,m \end{equation*}$$
而一个$m \times 1$ 的列向量 $\mathbf{y}$ 与一个$m \times n$ 的矩阵 $\mathbf{A}$相乘，等于
$$\begin{equation*} \mathbf{z}^{T}=\mathbf{y}^{T} \mathbf{A} \qquad z_{i}=\sum_{k=1}^{m} a_{ki}x_{k} \quad i=1,2,...,n \end{equation*}$$
因此，一个$m \times 1$ 的列向量 $\mathbf{y}$，一个$m \times n$ 的矩阵 $\mathbf{A}$ 以及一个$n \times 1$ 的列向量 $\mathbf{x}$， 他们的
乘积（是一个标量）可以表示为：
$$\begin{equation*} \alpha=\mathbf{y}^{T} \mathbf{A} \mathbf{x} \qquad \alpha=\sum_{j=1}^{m}\sum_{k=1}^{n} a_{jk}y_{j}x_{k} \end{equation*}$$
如果 $\mathbf{A}\in \mathfrak{R}^{m\times n}$, $\mathbf{B}\in \mathfrak{R}^{n\times p}$, 则满足以下关系：
$$\begin{equation*} \begin{split} \mathbf{C}=\mathbf{A} \mathbf{B} \qquad c_{ij}=\sum_{k=1}^{n} a_{ik}b_{kj} \\mathbf{C}^T=\mathbf{B}^T \mathbf{A}^T \qquad c_{ji}=\sum_{k=1}^{n} a_{jk}b_{ki} \end{split} \end{equation*}$$

矩阵的求导

假设有如下的函数：

$$\begin{equation*} \mathbf{y}=\Psi (\mathbf{x}) \end{equation*}$$
其中 $\mathbf{y}\in \mathfrak{R}^{m\times 1}$，$\mathbf{x}\in \mathfrak{R}^{n\times 1}$, 则向量$\mathbf{y}$关于$\mathbf{x}$的导数，可以表示为：
$$\begin{equation*} \frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\begin{bmatrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{1}}{\partial x_{2}} & \cdots & \frac{\partial y_{1}}{\partial x_{n}} \\frac{\partial y_{2}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{2}} & \cdots & \frac{\partial y_{2}}{\partial x_{n}} \\vdots & \vdots & & \vdots \\frac{\partial y_{m}}{\partial x_{1}} & \frac{\partial y_{m}}{\partial x_{2}} & \cdots & \frac{\partial y_{m}}{\partial x_{n}} \end{bmatrix} \end{equation*}$$
这个 $m \times n$ 的矩阵，是向量$\mathbf{y}$关于$\mathbf{x}$的一阶偏导数，这个矩阵也称为Jacobian矩阵。如果$\mathbf{x}$ 是一个标量，则Jacobian矩阵
是一个$m \times 1$的矩阵，如果$\mathbf{y}$是一个标量，则Jacobian矩阵是一个$1 \times n$的矩阵。\
已知，$\mathbf{y}\in \mathfrak{R}^{m\times 1}$，$\mathbf{x}\in \mathfrak{R}^{n\times 1}$, $\mathbf{A}\in \mathfrak{R}^{m \times n}$,
$$\begin{equation*} \mathbf{y}=\mathbf{A} \mathbf{x} \qquad \text{we can get:} \quad \frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\mathbf{A} \end{equation*}$$
证明
$$\begin{equation*} y_{i}=\sum_{k=1}^{n}a_{ik}x_{k} \quad \Rightarrow \frac{\partial y_{i}}{\partial x_{j}}=a_{ij} \quad i=1,2,...m, j=1,2,...n. \quad \Rightarrow \frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\mathbf{A} \end{equation*}$$
如果 $\mathbf{x}$ 是关于 $\mathbf{z}$ 的函数
$$\begin{equation*} \mathbf{y} =\mathbf{A} \mathbf{x} \qquad \text{we can get:} \quad \frac{\partial \mathbf{y}}{\partial \mathbf{z}}=\mathbf{A} \frac{\partial \mathbf{x}}{\partial \mathbf{z}} \end{equation*}$$
如果：$\alpha=\mathbf{y}^{T} \mathbf{A} \mathbf{x}$ 则：
$$\begin{equation*} \frac{\partial \alpha }{\partial \mathbf{x}}=\mathbf {y}^{T} \mathbf {A} \qquad \frac{\partial \alpha }{\partial \mathbf{y}}=\mathbf {x}^{T} \mathbf {A}^{T} \end{equation*}$$
如果：$\alpha=\mathbf{x}^{T} \mathbf{A} \mathbf{x}$, $\mathbf{x}\in \mathfrak{R}^{n\times 1}$, $\mathbf{A}\in \mathfrak{R}^{n \times n}$ 则：
$$\begin{equation*} \frac{\partial \alpha }{\partial \mathbf{x}}=\mathbf {x}^{T} ( \mathbf{A}+\mathbf{A}^{T} ) \end{equation*}$$
证明
$$\begin{equation*} \begin{split} & \alpha=\mathbf{x}^{T} \mathbf{A} \mathbf{x}=\sum_{j=1}^{n} \sum_{i=1}^{n} a_{ij} x_{i} x_{j} \quad \Rightarrow \frac{\partial \alpha }{\partial x_{k}}= \sum_{j=1}^{n} a_{kj} x_{j} + \sum_{i=1}^{n} a_{ik} x_{i} \quad k=1,2,...n \& \Rightarrow \frac{\partial \alpha }{\partial \mathbf{x}}=\mathbf {x}^{T} \mathbf{A}^{T} + \mathbf {x}^{T} \mathbf{A} = \mathbf {x}^{T}(\mathbf {A}+\mathbf{A}^{T}) \end{split} \end{equation*}$$
如果 $\mathbf{A}$ 是一个对称矩阵，那么 $\alpha=\mathbf{x}^{T} \mathbf{A} \mathbf{x}$ 对 $\mathbf{x}$ 的导数为，$\frac{\partial \alpha }{\partial \mathbf{x}}=2 \mathbf {x}^{T} \mathbf{A}$。\
设 $\alpha=\mathbf{y}^{T} \mathbf{x}$, 其中 $\mathbf{x}$ 和 $\mathbf{y}$ 是关于 $\mathbf{z}$ 的函数。则
$$\begin{equation*} \frac{\partial \alpha }{\partial \mathbf{z}}=\mathbf {x}^{T} \frac{\partial \mathbf{y}}{\partial \mathbf{z}} + \mathbf {y}^{T} \frac{\partial \mathbf{x}}{\partial \mathbf{z}} \end{equation*}$$

参考文献

Andrew Ng, Machine Learning, Stanford University.
Randal J. Barnes, Matrix Differentiation, University of Minnesota, Minneapolis, USA
Dhrymes, Phoebus J., 1978, Mathematics for Econometrics, Springer-Verlag, New york, 136 PP.
Golub, Gene H., and Charles F. Van Loan, 1983, Matrix Computations, Johns Hopkins University Press, Baltimore, Maryland, 476 pp.
Graybill, Franklin A., 1983, Matrices with Applications in Statistics, 2nd Edition, Wadsworth Internationl Group, Belmont, California, 461 pp.