码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习 - 3 - 线性分类

时间:2018-10-06 23:39:31      阅读:188      评论:0      收藏:0      [点我收藏+]

标签:状态   int   sign   特定   符号   alpha   sum   密度   期望   

机器学习 - 3 - 线性分类

符号约定

贝叶斯分类器

  1. 基于最小错误率的决策

    • 符号约定:
      • 样本 $ \bold{x} \in R^d$
      • 状态(类) \(w = {w_1,w_2,\dots}\)
      • 先验概率 \(P(w_1),P(w_2)\)
      • 样本分布密度 \(p(x)\)
      • 类条件概率密度 \(p(\bold{x}|w_1),p(\bold{x}|w_2)\)
      • 后验概率 \(P(w_1|\bold{x}),P(w_2|\bold{x})\)
      • 错误概率
        \[P(e|\bold{x})\lbrace_{P(W_1|\bold{X}) \ if\ \bold{x}\ is\ assigned\ to\ w_2}^{P(W_2|\bold{X})\ if\ \bold{x}\ is\ assigned\ to\ w_1}\]
      • 平均错误率 \(P(e) = \int P(e|\bold{x})p(\bold{x})d\bold{x}\)
      • 正确率 \(P(c)\)
    • 策略:错误概率最小嘛,很简单易懂

      \[P(e|\bold{x})\lbrace_{P(W_1|\bold{X}), \ if\ P(w_1|\bold{x})>P(w_2|\bold{x})}^{P(W_2|\bold{X}), \ if\ P(w_1|\bold{x})<P(w_2|\bold{x})}\]

      所以:\(x\) 属于那种状态时的错误概率小,就认为 \(x\) 是那种状态

  2. 基于最小风险的决策

    • 符号约定:
      • 样本 \(\bold{x}\in R^d\)
      • 状态(类) \(w = {w_1,w_2,\dots}\)
      • 决策, \(\alpha_i\) 表示将样本分类为 \(w_j,j\in1,\dots,n\)
      • 将真实标记为 \(w_j\) 的样本误分类为 \(w_i\) 所产生的损失 \(\lambda_{i,j}\)
      • 对于特定 \(x\) 采取决策 \(\alpha_i\) 的期望损失(基于后验概率 \(P(w_i|\bold{x})\)
        \[R(\alpha_i|\bold{x}) = \sum_{j=1}^{N}\lambda_{ij}P(w_j|\bold{x})\]
      • 期望风险,即对 \(x\) 所有可能的决策 \(\alpha(x)\) 所造成的期望损失之和,也称为平均风险
        \[R(\alpha) = \int R(\alpha(x)|x)p(x)dx\]
    • 策略:使 \(R(\alpha(x)|x)\) 最小

线性判别函数

  1. 广义
  2. 齐次化

线性分类器设计

  1. 准则函数

多分类问题

机器学习 - 3 - 线性分类

标签:状态   int   sign   特定   符号   alpha   sum   密度   期望   

原文地址:https://www.cnblogs.com/ChildishChange/p/9748954.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!