1.感知器算法原理 两类线性可分的模式类：，设判别函数为：。 对样本进行规范化处理，即类样本全部乘以(-1)，则有： 感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。 2.算法步骤 （1）选择N个分属于和类的模式样本构成训练样本集{ X1, …, XN }构成增广向量形式，并进 ...
分类：
编程语言 时间：
2020-01-19 12:53:06
阅读次数：
159
一、算法原理 KNN算法是机器学习中最基本算法之一，属于惰性学习算法的典例。惰性指模型仅通过对训练数据集的记忆功能进行预测，而不产生判别函数。 KNN算法本身很简单，归纳为如下几步：①选择近邻数量k和距离度量的方法②找到待分类样本的k个最近邻③根据最近邻类标进行多数投票 二、超参数(结合sklear ...
分类：
编程语言 时间：
2019-11-28 23:06:36
阅读次数：
483
着重介绍hige loss 和 softmax loss。 "svm回顾" $C_1,C_2$是要区分的两个类别，通过分类函数执行时得到的值与阈值的大小关系来决定类别归属，例如： $$g(x) = g(w^Tx+b)$$ 我们取阈值为0，此时$f(x)=sgn[g(x)]$就是最终的判别函数。对于同 ...
分类：
其他好文 时间：
2018-12-22 13:06:44
阅读次数：
409
1. 线性判别函数 本章介绍的线性判别函数都归属于判别式模型，即对于分类问题，根据判别函数$g(x)$的取值进行判断，比如正数归为第一类，负数与零归为第二类。关于判别式模版与生成式模型的区别可以阅读我以前的 "博客])(https://www.cnblogs.com/szxspark/p/84268 ...
分类：
其他好文 时间：
2018-11-08 13:19:27
阅读次数：
269
感知机模型是一个二分类的线性分类模型。其输入为实例的特征峰向量。输出是实例的类别，取+1和-1两种值。感知机对应于输入空间中讲实例划分为正负两类的分离超平面，属于判别模型。其判别函数为： w是超平面的法向量，b是超平面的截距。 如图 其损失函数的选择是误分点到决策面的距离。因此决策面可以有多个。感知 ...
分类：
编程语言 时间：
2018-10-09 12:16:39
阅读次数：
220
恢复内容开始 出发点： 线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。 采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。 引入分段 ...
分类：
其他好文 时间：
2018-10-08 15:59:26
阅读次数：
478
3.1线性判别函数 3.1.1两类问题的判别函数 （1）以二维模式样本为例 若x是二维模式样本x = (x1 x2)T，用x1和x2作为坐标分量，得到模式的平面图： 这时，若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分 d(x) = w1x1 + w2x2 + w3 = 0 其中 ...
分类：
其他好文 时间：
2018-09-28 20:52:38
阅读次数：
281
【摘要】 - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型：有限样本==》判别函数 = 预测模型==》预测 【简介】 简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是生成模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无 ...
分类：
其他好文 时间：
2017-06-19 12:57:08
阅读次数：
118
本文简单整理了以下内容： （一）线性判别函数与广义线性判别函数 （二）感知器 （三）松弛算法 （四）Ho-Kashyap算法 （一）线性判别函数与广义线性判别函数 一、线性判别函数 这篇总结继续关注分类问题。假设判别函数（Discriminant function）的参数形式已知，用训练的方法直接根 ...
分类：
编程语言 时间：
2017-04-21 23:17:25
阅读次数：
2696
1 统计模式识别 图像-增强图像-特征提取-分类 训练样本-有规则的学习-误差检测-改进规则-分类 1.1 决策理论方法 ①线性判别 将待分类图像X投影到N个提取的特征上，形成Y向量，系数向量为W，判别函数D（X）= Y’W 通过分别计算i、j两类的D（X），比较大小，判断类别。Di（X）-Dj（X ...
分类：
其他好文 时间：
2017-04-20 22:43:32
阅读次数：
155
