读Linear Algebra -- Gilbert Strang

标签：跨平台   方法   属性   perm   进制   子空间   多少   column   最简   

转眼间已经我的学士学位修读生涯快要到期了，重读线性代数，一是为了重新理解Algebra的的重要概念以祭奠大一刷过的计算题，二是为了将来的学术工作先打下一点点（薄弱的）基础。数学毫无疑问是指导着的科研方向与科学发展，每次读同一本好的数学书都能读出不同的韵味。

P1-149

Strang在书的序言便给出了linear algebra的一以贯之之道，我们所看到一切的来源便在于Ax=b这个方程组中。虽然从向量矩阵、线性方程组到向量空间、线性变换，费了好大劲才将任意一个线性变化凝练到一个矩阵上，但对于Ax=b的经典案例的解空间的描述是连接矩阵、向量等数据元素和线性代数空间的不可或缺的纽带。这个思想被概括在了针对Ax=b的三个解法中：

1. forward elimination + backward substitution 其实就是中学的高斯消元法和代换法

2. b x inverse A，仅在矩阵A存在逆矩阵的时候可使用

3. Paticular + nullspace 构造解空间的方法，这里貌似道出了线性空间的真谛！如果仅有前两种方法，便没有space的概念了。

Vectors：何谓向量？一个对象的一组属性值？

空间中的向量本质上是群/环中的定义了运算的元素，它有很多运算性质（加法乘法内积外积），而最让我印象深刻的是它的相似性度量。向量天然带有可计算相似性的特征，包括两向量的距离、夹角等等，事实上在ML/DL/AI蓬勃发展的今天，许多工作也围绕这相似性度量而展开，尤其是我所学习的信息安全领域。今天阅读的一篇Dawn Song小组的文献提出了一种新的度量跨平台二进制代码相似性的办法就是摒弃了传统graph matching而改用embedding（一个数值向量）的，此类例子不胜枚举，即使是最简单的数学也能成为一个idea的动机。

Matrices：operation or features or weights

关于矩阵的四个操作：Elimination, Substitution, Factorization, Permutation. 前二者都是对方程组表征在空间上的矫正，第三个操作实际上给我带来了两个问题：一个矩阵到底有多少信息是有用的，是否存在冗余，高斯消元对信息量的影响是什么？一个普适的线性变换系统可以拆分为多个系统叠加，上三角/下三角阵系统是否隐含着一种时移性？幸运的是对于这大部分疑惑作者都在解空间的章节中给出了答案。最后一个操作只是行向量顺序的交换，至少在书中我暂时只看到体现出了计算上的差异。

Ax=b：

这个方程的左边：既可以看成是矩阵A对列向量x的线性变换，又可以看作是用列向量x的元素对矩阵A的列向量的线性组合。真巧，像是在宇宙中的某个空间内，线性变换等同于了线性组合。仔细想一想那只不过是矩阵的两个维度，原文对于A拆分成行或列是这么说的：three planes meet at a point & combines three columns to produce. 这里其实很具体只不过我没插图。

Vector Space：

可以说是线性代数中最重要的概念了，我们平时讨论的问题、解空间大多都是R^n的子空间，满足8条性质构成了一个完美的度量环境。我一直在想它跟离散数学的群环域有什么联系，但貌似知识储备有点短缺...这里想总结的太多了未完待续...

大仲马在《基督山伯爵》书的结尾描述：人类的全部智慧就包含在了两个词中——等待与希望。套用这个公式，线性代数学的全部智慧就包含在一个方程中——Ax equals b. 最后，我想着反正我写的博客也没什么人看，虽然没写完我还是把它当作读书笔记挂出去了，这两周一边看一边改。

读Linear Algebra -- Gilbert Strang

标签：跨平台   方法   属性   perm   进制   子空间   多少   column   最简   

原文地址：https://www.cnblogs.com/chenzhikai/p/10816843.html