平滑的目的也是正则化的目的之一，它是针对参数w而言，本质上就是要使得w的变化不要那么剧烈，有如下数学模型（假设最小化J）： 左侧是一个典型的线性回归模型，(xi，yi)就是实际的观测值，w就是估计的参数，右侧就是一个正则化项。可以直观的感受到，正则化项实际上起到了限制参数w的“变化程度或变化幅值”的 ...
分类：
其他好文 时间：
2019-02-24 18:48:03
阅读次数：
149
向量空间 $V$定义：对于任意$x,y \in V$，$\alpha, \beta\in R$or$C$,满足$\alpha x +\beta y \in V$. 子空间 $L$的定义：线性空间的子集$L\subset V$，对于任意$x,y\in L$，$\alpha, \beta \in R$， ...
分类：
其他好文 时间：
2019-02-23 00:57:28
阅读次数：
272
路径规划是寻路的重要优化思想，在了解路径规划之前必须先了解基本的寻路算法 可参考：https://www.cnblogs.com/KillerAery/p/9231511.html 使用路径点（Way Point）作为节点 实际上A 寻路算法，对于图也是适用的，实现只要稍微改一下。 大部分讨论A 算 ...
分类：
其他好文 时间：
2019-02-01 21:57:41
阅读次数：
216
参考资料： 网易公开课：http://open.163.com/special/opencourse/daishu.html 麻省理工公开课：线性代数 教材：Introduction to Linear Algebra, 4th edition by Gilbert Strang 链接：https: ...
分类：
其他好文 时间：
2019-01-24 00:27:25
阅读次数：
173
参考资料： 网易公开课：http://open.163.com/special/opencourse/daishu.html 麻省理工公开课：线性代数 一、向量空间和子空间（加法封闭、数乘封闭） 向量空间$R^3$的子空间：$R^3$、任意经过原点$(0, 0, 0)$的平面$P$和直线$L$、只包 ...
分类：
其他好文 时间：
2019-01-23 00:14:26
阅读次数：
195
定义：任意$A=A_{m \times n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。 引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$) 证明： \[{A^H}A{X_0} = {A^H}A ...
分类：
其他好文 时间：
2019-01-07 10:32:20
阅读次数：
259
机器学习中我们必须具备矩阵相关知识。《矩阵分析与应用（第2版）》系统、全面地介绍矩阵分析的主要理论、具有代表性的方法及一些典型应用。共10章，内容包括矩阵代数基础、特殊矩阵、矩阵微分、梯度分析与最优化、奇异值分析、矩阵方程求解、特征分析、子空间分析与跟踪、投影分析、张量分析。前3章为全书的基础，组成矩阵代数；后7章介绍矩阵分析的主体内容及典型应用。为了方便读者对数学理论的理解以及培养应用矩阵分析进
分类：
其他好文 时间：
2018-12-22 12:40:49
阅读次数：
217
导语：其他集数可在[线性代数]标籤文章找到。线性子空间是一个大课题，这里先提供一个简单的入门，承接先前关于矩阵代数的讨论，期待与你的交流。 Overview: Subspace definition In a vector space of Rn, sets of vectors spanning ...
分类：
其他好文 时间：
2018-12-13 12:44:10
阅读次数：
165
转自：https://jingyan.baidu.com/article/27fa7326afb4c146f8271ff3.html 一、特征值和特征向量的定义 首先让我们来了解一下特征值和特征向量的定义，如下： 首先让我们来了解一下特征值和特征向量的定义，如下： 特征子空间基本定义，如下： 特征子 ...
分类：
其他好文 时间：
2018-12-09 14:14:58
阅读次数：
142
1. 正交子空间 两个向量垂直，意味着 $v^Tw=0$。 两个子空间 $\boldsymbol V$ 和 $\boldsymbol W$ 是正交的，如果$\boldsymbol V$ 中的每个向量 $v$ 都垂直于 $\boldsymbol W$ 中的每个向量 $w$。 想象你处在一个房间里，那么 ...
分类：
其他好文 时间：
2018-11-21 16:17:06
阅读次数：
225
