一、求解线性方程组 1、numpy的线性代数子模块linalg中提供了求解线性方程组的solve（）函数和求解线性方程组最小二乘解的lstsq（）函数 例： import numpy as np a=np.array([[3,1],[1,2]])b=np.array([9,8])x=np.linal ...
分类：
编程语言 时间：
2020-06-15 23:05:15
阅读次数：
65
解最小二乘的方法有很多，这里给出常见的三种方法实现。 一是一般方法，之前博客一般都用这种方法。 二是svd分解法，之前有用过svd(见这里，这里和这里)解其他问题，但是没用来解过最小二乘。 三是qr分解法，这个好像没用过。 这里主要总结记录一下实现方法。 代码如下： clear all; close ...
分类：
其他好文 时间：
2020-05-15 21:46:22
阅读次数：
98
[TOC] 奇异矩阵 |A|=0； A可逆 |A| != 0，即A是非奇异矩阵 用inv进行矩阵求逆时，出现矩阵奇异的情况。报错： 只需将inv替换为pinv求伪逆即可。 特点 对于方阵A，如果为非奇异方阵，则存在逆矩阵inv(A) 对于奇异矩阵或者非方阵，并不存在逆矩阵，但可以使用pinv(A)求 ...
分类：
其他好文 时间：
2020-04-08 20:54:19
阅读次数：
132
https://blog.csdn.net/kokerf/article/details/72437294 对于线性方程组，解的判别条件如下： 1. Ax=0Ax=0 总有解，至少有零解 2. Am×nx=0Am×nx=0 当r(A)=nr(A)=n，只有零解 当r(A)<nr(A)<n，有无穷多解 ...
分类：
其他好文 时间：
2019-05-02 15:53:04
阅读次数：
105
定义：任意$A=A_{m \times n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。 引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$) 证明： \[{A^H}A{X_0} = {A^H}A ...
分类：
其他好文 时间：
2019-01-07 10:32:20
阅读次数：
259
本系列教程来源于出版设计《基于MATLAB编程基础与典型应用书籍》，如涉及版权问题，请联系：156204968@qq.com。出版社：人民邮电出版社，页数：525。本系列教程目前基于MATLABR2006a，可能对于更高级版本的功能和函数有差异，教程中如有问题，请联系：156204968@qq.com本章将介绍与MATLAB矩阵运算有关相关的内容。矩阵运算是MATLAB的基础，是MATLAB强大计
分类：
其他好文 时间：
2018-10-29 20:12:27
阅读次数：
189
在机器学习中，有很多的问题并没有解析形式的解，或者有解析形式的解但是计算量很大（譬如，超定问题的最小二乘解），对于此类问题，通常我们会选择采用一种迭代的优化方式进行求解。 这些常用的优化算法包括：梯度下降法（Gradient Descent），共轭梯度法（Conjugate Gradient），Mo ...
分类：
编程语言 时间：
2018-09-29 21:34:02
阅读次数：
225
下载地址：网盘下载 内容简介 · · · · · · 本书是一本机器学习入门教程，包含了数学和统计学的核心技术，用于帮助理解一些常用的机器学习算法。书中展示的算法涵盖了机器学习的各个重要领域：分类、聚类和投影。本书对一小部分算法进行了详细描述和推导，而不是简单地将大量算法罗列出来。本书通过大量的MA ...
分类：
其他好文 时间：
2018-04-15 14:49:02
阅读次数：
171
1回归一般指线性回归，是求最小二乘解的过程。在求回归前，已经假设所有型值点同时满足某一曲线方程，计算只要求出该方程的系数 1回归一般指线性回归，是求最小二乘解的过程。在求回归前，已经假设所有型值点同时满足某一曲线方程，计算只要求出该方程的系数 2多项式插值：用一个多项式来近似代替数据列表函数，并要求 ...
分类：
其他好文 时间：
2018-01-15 16:33:24
阅读次数：
165
多元线性回归的最小二乘解（无偏估计） 岭回归(Ridge Regression，RR) 当自变量间存在复共线性时，｜X′X｜≈0，我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异癿程度就会比X′X接近奇异癿程度小得多。岭回归做为β癿估计应比最小二乘估计稳定，当k=0时癿 ...
分类：
其他好文 时间：
2016-04-23 18:02:04
阅读次数：
128
