码迷,mamicode.com
首页 > 其他好文 > 详细

哈尔滨工业大学计算机学院-模式识别-课程总结-贝叶斯决策理论(一)

时间:2018-11-07 21:37:28      阅读:177      评论:0      收藏:0      [点我收藏+]

标签:str   href   htm   介绍   spl   计算机   大学   因子   不同类   

一、贝叶斯决策理论

贝叶斯决策理论是解决分类问题的一种基本统计途径,其出发点是利用概率的不同分类决策,与相应决策所付出的代价进行折中,它假设决策问题可以用概率的形式描述,并且假设所有有关的概率结构均已知。

二、各种概率及其关系

  • 先验概率:
    \[P(\omega_i)\]
  • 后验概率:
    \[P(\omega_i | x)\]
  • 类条件概率:
    \[P(x |\omega_i )\]
  • 贝叶斯公式:
    \[P \left( \omega _ { i } | \mathbf { x } \right) = \frac { P ( \mathbf { x } | \omega _ { i } ) P \left( \omega _ { i } \right) } { P ( \mathbf { x } ) }\]

    三、最小错误率准则

  • 判别\(x\)属于\(w=\omega_i\)的错误率:
    \[P ( \text { error } | \mathbf { x } ) = \sum _ { j \neq i } P \left( \omega _ { j } | \mathbf { x } \right) = 1 - P \left( \omega _ { i } | \mathbf { x } \right)\]
  • 判别准则:
    \[i = \arg \max _ { 1 \leq j \leq c } P \left( \omega _ { j } | \mathbf { x } \right)\]
    \(c\)是所有类别总数,根据该将\(x\)归为\(\omega_i\)
  • 根据贝叶斯公式,构造出判别函数\(g _ { j } ( \mathbf { x } ) = p ( \mathbf { x } | \omega _ { j } ) P \left( \omega _ { j } \right)\),即先验概率与类条件概率的乘积。

    贝叶斯公式的分母\(P(x)\),只是起到标量因子的左右,保证各类别的后验概率值的和为1。

    四、最小平均风险准则

  • 一共有\(c\)个类别,将\(w_i\)类的样本判别为\(w_j\)类的代价为\(\lambda_{ij}\)
  • 将未知模式\(x\)判别为\(w_j\)类的平均风险\(g_j(x)\)为:
    \[g _ { j } ( \mathbf { x } ) = - \gamma _ { j } ( \mathbf { x } )\]
    \[\gamma _ { j } ( \mathbf { x } ) = \sum _ { i = 1 } ^ { c } \lambda _ { i j } P \left( \omega _ { i } | \mathbf { x } \right)\]

    五、总结

  • 本博客只介绍了部分贝叶斯分类器准则,关于正态分布的贝叶斯分类器没有介绍。
  • 根据最小错误率准则,或最小平均风险准则,不难看出,贝叶斯分类器是生成式模型,不能构造一个区分不同类别的判别函数,而是考察待识别模式由不同类别所产生的概率,最后根据不同类别产生该模式的概率大小来决定他的类别属性。后续博客会介绍其他的判别式模型,关于生成式模型与判别式模型的区别可以看我以前的博客生成模型(generative model)与判别模型(discriminative model)的区别

哈尔滨工业大学计算机学院-模式识别-课程总结-贝叶斯决策理论(一)

标签:str   href   htm   介绍   spl   计算机   大学   因子   不同类   

原文地址:https://www.cnblogs.com/szxspark/p/9925740.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!