标签：条件 开始 情况下 决策 end 选择 各类 简单 情况
---恢复内容开始---
看一个简单的例子。
假设我手里握着一枚硬币，让你猜是多少钱的硬币，这可以看做一个分类决策的问题：你需要从各种可能的硬币中做出一个决策，如果我告诉你这枚硬币只可能是一角或者五角，这就是一个两类的分类问题。
在没有任何关于这枚硬币任何信息的情况下，有人可能猜这是一枚一脚的硬币，因为他在最近一段时间以来接触到的一角硬币比五角多。
这个决策过程是有理论依据的：他实际是通过对所接触过的硬币的概率做出粗略分析，认为出现一角硬币的概率比五角硬币的概率大，然后选择了概率较大的决策。（这个思路其实很好理解，就像现在我手里握着一枚硬币，然后让你猜这枚硬币，你几乎不会认为这枚硬币是一分的，因为现在一分的硬币太少了，甚至一角的也很少）
如果把硬币记为x，把一角和五角这两类分别记为$w_1$和$w_2$，用$P(w_1)和P(w_2)$分别表示两类的概率，这一决策规则可以表示为
$$决策一：如果P(w_1)>P(w_2)，则x {\in} w_1；反之则x {\in} w_2$$
接下来我们看一下使用该决策带来的犯错误概率。
如果判断$x {\in} w_1$，那么犯错误的概率就是$P(error)=1-P(w_1)=P(w_2)$，这里犯错误的概率可以理解为实际上$x {\in} w_2$的可能性，如果$x {\in} w_2$的可能性越大，那么犯错误的概率也会越大。
我们可以看到决策一的准则实际上是最小错误率准则，而且对每一枚硬币都按照错误概率最小的原则进行决策，那么这种决策在所有可能出现的独立样本上错误率最小。
上面说的概率是没有对样本进行任何的观察与测量，完全取决于个人的看法，是先验概率。
下面假如不允许你看硬币，但是允许用天平来称量硬币的重量，让你根据重量来做决策。
把硬币的重量记为$x$，现在我们应该去估计在已知硬币重量为$x$的情况下，硬币属于各类的概率，即$P(w_1|x)和P(w_2|x)$，称为后验概率。通过比较它们的大小来做出决策：
$$决策二：如果P(w_1|x)>P(w_2|x)，则x {\in} w_1；反之则x{\in} w_2$$
在这种决策下，如果$x {\in} w_1$，那么犯错误的概率就是$P(error)=1-P(w_1|x)=P(w_2|x)$，所以决策二仍然是最小错误率的决策。
如何求$P(w_1|x)$呢，我们可以通过贝叶斯公式来进行求解：
$$P(w_1|x) = \frac{p(w1,x)}{p(x)}=\frac{p(x|w_1)*P(w_1)}{p(x)}$$
其中$P(w_1)$称为先验概率，$p(x|w_1)$称为类条件密度，即给定类别w1下，x的概率密度。
这就是贝叶斯决策：在类条件概率密度和先验概率已知的情况下，通过贝叶斯公式比较样本属于两类的后验概率，将类别决策为后验概率较大的一类。
对两类问题，在样本x上错误的概率为
$$P(e|x) = \left\{\begin{matrix}
P(w_2|x)\ \ \ \ 做出的决策为x{\in}w_1\\
P(w_1|x)\ \ \ \ 做出的决策为x{\in}w_2
\end{matrix}\right.$$
错误率定义为所有服从同样分布的独立样本上错误概率的期望，即
$$P(e) = \int P(e|x)p(x)dx$$
这里，用$\int $表示在特征x的全部取值空间做积分。
---恢复内容结束---
标签：条件 开始 情况下 决策 end 选择 各类 简单 情况
原文地址：https://www.cnblogs.com/victory-brave/p/11175265.html
