标签：依赖   条件   style   区域   bsp   表示   判别式   http   识别   

3.1线性判别函数

3.1.1两类问题的判别函数

（1）以二维模式样本为例

若x是二维模式样本x = (x₁ x₂)^T，用x₁和x₂作为坐标分量，得到模式的平面图：

这时，若这些分属于ω₁和ω₂两类的模式可用一个直线方程d(x)=0来划分

d(x) = w₁x₁ + w₂x₂ + w₃ = 0

其中x₁、x₂为坐标变量，w₁、w₂、w₃为参数方程，则将一个不知类别的模式代入d(x)，有

- 若d(x) > 0，则

- 若d(x) < 0，则

此时，d(x)=0称为判别函数。

（2）用判别函数进行模式分类依赖的两个因素

（1）判别函数的几何性质：线性的和非线性的函数。 线性的是一条直线； 非线性的可以是曲线、折线等； 线性判别函数建立起来比较简单（实际应用较多）； 非线性判别函数建立起来比较复杂。

（2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。 只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。

3.1.2  n维线性判别函数的一般形式

（1）一个n维线性判别函数的一般形式：

其中w₀ = (w₁, w₂, …, w_n)^T称为权向量（或参数向量）, x = (x₁, x₂, …, x_n)^T。

d(x)也可表示为：d(x) = w^Tx其中，x = (x₁, x₂, …, x_n, 1)^T称为增广模式向量，w = (w₁, w₂, …, w_n+1)^T称为增广权向量。

（2）两类情况：判别函数d(x)

（3）多类情况：设模式可分成ω1, ω2,…, ωM共M类，则有三种划分方法

多类情况1:

问题描述：用线性判别函数将属于ω_i类的模式与不属于ω_i类的模式分开，

其判别函数为：

i = 1, 2, …, M

这种情况称为两分法，即把M类多类问题分成M个两类问题，因此共有M个判别函数，对应的判别函数的权向量为w_i, i = 1, 2, …, M。

图例：对一个三类情况，每一类模式可用一个简单的直线判别界面将它与其它类模式分开。

例如，对的模式，应同时满足：d₁(x)>0，d₂(x)<0，d₃(x)<0

不确定区域：若对某一模式区域，d_i(x)>0的条件超过一个，或全部d_i(x)<0，i = 1, 2, …, M，则分类失败，这种区域称为不确定区域(IR)。

示例1：设有一个三类问题，其判别式为：

d₁(x)= -x₁ + x₂，d₂(x)= x₁ + x₂ - 5，d₃(x)= -x₂ + 1

则对一个模式x=(6, 5)^T，判断其属于哪一类。

将x=(6, 5)^T代入上述判别函数，得：

d₁(x) = -1，故d₁(x)<0

d₂(x) = 6，故d₂(x)>0

d₃(x) = -4，故d₃(x)<0

从而

示例2：假若x=(3, 5)^T，则

d₁(x) = 2>0

d₂(x) = 3>0

d₃(x) = -2<0

分类失败。

多类情况2

问题描述：采用每对划分，即ω_i/ω_j两分法，此时一个判别界面只能分开两种类别，但不能把它与其余所有的界面分开。

其判别函数为：

    若d_ij(x)>0，，则重要性质：d_ij = -d_ji

图例：对一个三类情况，d₁₂(x)=0仅能分开ω₁和ω₂类，不能分开ω₁和ω₃类。

要分开M类模式，共需M(M-1)/2个判别函数。

不确定区域：若所有d_ij(x)，找不到，d_ij(x)>0的情况。

示例 1：设有一个三类问题，其判别函数为：

d₁₂(x)= -x₁ - x₂ + 5，d₁₃(x)= -x₁ + 3，d₂₃(x)= -x₁ + x₂

若x=(4, 3)^T，则：d₁₂(x) = -2，d₁₃(x) = -1，d₂₃(x) = -1

有：

从而

示例2：若x=(2.8, 2.5)^T，则：d₁₂(x) = -0.3，d₁₃(x) = 0.2，d₂₃(x) = -0.3

有：

分类失败。

【模式识别与机器学习】——3.1线性判别函数

标签：依赖   条件   style   区域   bsp   表示   判别式   http   识别   

原文地址：https://www.cnblogs.com/chihaoyuIsnotHere/p/9720457.html