机器学习数学基础

标签：积分   end   begin   区别   amp   strong   inf   矩阵   mat   

线性代数

范数

范数是一个表示向量长度大小的量函数，对于一个N维向量a，一个常见的范数函数为\(l_{p}\)范数

• \(l_1\)范数：向量各个元素的绝对值之和

  \[\lvert \lvert \mathbf{a}\rvert \vert_{1}=\sum_{n=1}^N \lvert a_{n} \rvert \]

• \(l_{2}\)范数：向量的各个元素的平方和再开平方

  \[\vert \lvert \mathbf{a} \rvert \rvert_{2}= \sqrt{\sum_{n=1}^N a_{n}^2}=\sqrt{\mathbf{a}^T\mathbf{a}} \]

• \(l_{\infty}\)范数：向量的各个元素的最大绝对值。

  \[\lvert \lvert \mathbf{a} \rvert \rvert_{\infty}=max(a_{1},\cdots, v_{n}) \]

矩阵

• Hadamard积：矩阵A和矩阵B的Hadamard积也称为逐点乘积，为矩阵A和矩阵B中的对应元素的乘积

  \[[A \odot B]_{ij}=a_{ij}*b_{ij} \]

• Kronecker积：如果矩阵A是一个\(M*N\)的矩阵，矩阵B是一个\(P*Q\)的矩阵，那么它们的Kronecker积为是一个\(MP*NQ\)的矩阵。

  \[[\mathbf{A} \otimes \mathbf{B}]= \left[ \begin{matrix} a_{11} \mathbf{B}& a_{12} \mathbf{B} & \cdots & a_{1n}\mathbf{B} \a_{21} \mathbf{B}&a_{22} \mathbf{B} & \cdots & a_{2n}\mathbf{B}\\vdots&\vdots&\vdots \a_{m1}\mathbf{B} & a_{M2}\mathbf{B}& \cdots&a_{mn}\mathbf{B} \end{matrix} \right ] \]

• 向量化：矩阵的向量化是将一个矩阵表示为一个列向量，令\(A=[a_{ij}]_{MN}\)那么向量化\(vec()\)

  \[vec(\mathbf{A})=[a_{11},a_{21},\cdots,a_{M1},a_{12},a_{22},\cdots,a_{M2},\cdots,a_{1N},a_{2N},\cdots,a_{MN}]^T \]

• 迹：方块矩阵A的对角线元素之和为它的迹，记为\(tr\{A\}\)。

• 秩：一个矩阵A的列秩是A的线性无关的列向量数量，行秩是矩阵A的线性无关的行向量的个数。一个矩阵的列秩和行秩总是相等的。

微积分

矩阵微积分

分子布局和分母布局：区别是一个标量关于一个向量的导数是写成列向量还是行向量。下面的矩阵微积分默认为分母布局。即表示成列向量。

向量函数及其导数：

机器学习数学基础

标签：积分   end   begin   区别   amp   strong   inf   矩阵   mat   

原文地址：https://www.cnblogs.com/tingweichen/p/12728598.html