数学上，线性变换的特征向量（本征向量）是一个非退化的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为其特征值（本征值）。 一个线性变换通常可以由其特征值和特征向量完全描述。特征空间是相同特征值的特征向量的集合。“特征”一词来自德语的eigen。1904年希尔伯特首先 在这个意义下使用了这个 ...
分类：
其他好文 时间：
2016-04-09 20:17:14
阅读次数：
217
求解特征值和特征向量关于特征值和特征向量的介绍，可以点击这里
首先创建一个矩阵In [1]: A=mat("3 -2;1 0")In [2]: A
Out[2]:
matrix([[ 3, -2],
[ 1, 0]])在numpy.linalg模块中，eigvals函数可以计算矩阵的特征值，而eig函数可以返回一个包含特征值和对应特征向量的元组。使用eigvals函数求解特征值...
分类：
其他好文 时间：
2016-04-04 19:47:17
阅读次数：
155
第2章 感知机
感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。
感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度
下降法对损失函数进行极小化求得感知机模型。
2.1 感知机模型
定义(感知...
分类：
其他好文 时间：
2016-03-30 13:16:48
阅读次数：
193
第12章 统计学习方法总结
1 适用问题
分类问题是从实例的特征向量到类标记的预测问题；标注问题是从观测序列到标记序列(或状态序列)的预测问题。可以认为分类问题是标注问题的特殊情况。
分类问题中可能的预测结果是二类或多类；而标注问题中可能的预测结果是所有的标记序列，其数目是指数级的。
感知机、k近邻法、朴素贝叶斯法、决策树是简单的分类方法，具有模型直观、方法简单、实现容易等特...
分类：
其他好文 时间：
2016-03-30 13:14:29
阅读次数：
232
3.1k邻近算法
给定一个训练数据集，对于新的输入实例，在训练数据集中找到该实例最近的K 的实例，这k个实例的多数属于某个类，酒吧该输入实例分为这个类。
算法3.1
输入:训练数据集
其中xi为实例的特征向量，yi为实例的类别，
输出：实例x的类y
（1）根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这个K个点的x的邻域记做Nk(x)；
（2）在...
分类：
编程语言 时间：
2016-03-29 10:57:05
阅读次数：
624
定义：假设输入空间，输出空间是y={+1,-1}.输入x∈X表示实例的特征向量，对于输入空间的点;输出y∈表示实例的类别。由输入空间到输出空间的如下函数称为感知机。
感知机是一种线性分类器，属于判别器。
线性方程w●x+b=对应于特征空间中的一个超平面S,w是超平面的法向量,b是超平面的截距。位于两部分的点（特征向量）分为正负两类。S称为分离超平面（sepe...
分类：
其他好文 时间：
2016-03-29 10:40:31
阅读次数：
394
转载：原文地址为http://www.cnblogs.com/elaron/archive/2013/05/20/3088894.html 作者：elar Many Thanks Normal Equations 的由来 假设我们有m个样本。特征向量的维度为n。因此，可知样本为{(x(1),y(1) ...
分类：
其他好文 时间：
2016-03-27 11:07:38
阅读次数：
201
在看论文的过程中，经常遇到涉及到特征值、特征向量、奇异值、右奇异向量等相关知识的地方，每次都是看得似懂非懂。本文将从特征值和奇异值相关的基础知识入手，探究奇异值和特征值的内涵，进而对特征值和奇异的知识进行梳理。 特征值分解和奇异值分解（SVD）在主成分分析（PCA）和机器学习领域都有广泛的应用。PC ...
分类：
其他好文 时间：
2016-03-26 18:33:50
阅读次数：
375
对于任意一个矩阵，不同特征值对应的特征向量线性无关。 对于实对称矩阵或埃尔米特矩阵来说，不同特征值对应的特征向量必定正交（相互垂直）。 特征值和特征向量确实有很明确的几何意义，矩阵（既然讨论特征向量的问题，当然是方阵，这里不讨论广义特征向量的概念，就是一般的特征向量）乘以一个向量的结果仍是同维数的一
分类：
其他好文 时间：
2016-03-19 01:00:29
阅读次数：
540
