logistic 回归

1.问题：

在上面讨论回归问题时，讨论的结果都是连续类型，但如果要求做分类呢？即讨论结果为离散型的值。

2.解答：

• 假设：
  其中：
  $g(z)$的图形如下：
  
  由此可知：当$h_\theta(x)$<0.5时我们可以认为为0，反之为1，这样就变成离散型的数据了。

• 推导迭代式：

  • 利用概率论进行推导，找出样本服从的分布类型，利用最大似然法求出相应的$\theta$
  • 
  • 因此：
    

• 结果：

• 注意：这里的迭代式增量迭代法

Newton迭代法：

1.问题：

上述迭代法，收敛速度很慢，在利用最大似然法求解的时候可以运用Newton迭代法，即$\theta$ := $\theta - \frac{f(\theta)}{f^{‘}(\theta)}$

2.解答：

• 推导：

  • Newton迭代法是求$\theta$，且$f(\theta) = 0$，刚好：$l^{‘}(\theta) = 0$
  • 所以可以将Newton迭代法改写成：

• 定义：

  • 其中：$l‘(\theta)$ =
  • 
    因此：H矩阵就是$l‘‘(\theta)$，即$H^{-1}$ = $1 / {l‘‘(\theta)}$
  • 所以：

• 应用：

  • 特征值比较少的情况，否则$H^{-1}$的计算量是很大的