思路：

• 之前的线性回归都是根据特征值服从的分布猜想结果，生成算法是根据结果猜想特征值的分布。

• 贝叶斯公式：

  

GDA高斯分类器：

模型：

1. 

2. 写成表达式的形式：

   

3. 分离效果图：

   

推理：

1. 原理：根据上述表达式的形式和最大似然原理，我们要求出这两个高斯分布，使给出的case最大限度的符合。

2. 写成表达式的形式：

   

   原因：为什么要求$p(y|x)$的最大似然：

   • 因为我们是要求给出$X$后预测$Y$，因此我们要求给出x下y的最可能出现的情况下的$\theta$。

   • 根据贝叶斯公式：

     

GDA and Logistic 回归：

• 如果$p(x|y;\theta)$ 服从高斯分布，可以推出：$p(y=1|x;\theta)$服从Logistic 回归。即：

  

• 反之不一定成立。

朴素贝叶斯分类：

应用：

• 主要用于文本分类

模型：

1. 将文本分词处理，得到特征值向量（整个词汇表）：
   0表示该次在这个case中没出现，1表示出现

   

2. 那么该case出现的概率：

   

3. 模型中的参数：

   • 对于第$i$个特征值，有它在$y = 1$时出现的概率，$y = 0$时出现的概率
   • 还有$y = 1$ 出现的概率

   所以：

   • $\phi_{i|y=1} = p(x_i=1|y=1)$
   • $\phi_{i|y=0} = p(x_i=1|y=0)$
   • $\phi_y = p(y=1)$

4. joint(联合)最大似然估计：

   

   解：

   

   就是样本出现的频率。如 $\phi_y = p(y=1)$ ，就是$y=1$占样本空间的比例

5. 根据参数我们可以写出预测：

   

Laplace smoothing

1. 当一个单词从未出现的时候，进行预测的时候参数可能为0

   即：

   

2. 解决方法：