指数分布族

形式：

应用：

1. logistic 回归：

• logistics 回归其实是伯努利分布。$p(y;\theta) = \theta^y * (1-\theta)^{1-y}$ . 其中$\theta$可以看做$h_\theta(x)$
• 伯努利分布是指数分布的一个特列：
  
  其中：
  
  $\eta = log(\frac\theta{1-\theta})$ 因此：$\theta = \frac1{1+e^{-\eta}}$

2.梯度下降：

• 最小二乘法其实是高斯分布。
  
• 高斯分布是指数分布的一个特列：
  $y|x;\theta$ ~ $N(\mu, \sigma^2)$ , 其中$\sigma^2$是无关项，不妨另$\sigma^2 = 1$
  
  其中：
  

GLM模型建立

步骤：

1. 先建立指数分布模型，想用哪种分布去模拟
2.

• 写出$T(y)$ 与 $y$的关系式
• 预测函数$h_\theta(x) =$$E${$T(y)|x;\theta$}
• $\eta = \theta^Tx$

logistic 回归：

• 准备用伯努利分布模拟，所以$p(y;\theta) = \theta^y * (1-\theta)^{1-y}$，整理后：
  所以我们有：

  • $\eta = log(\frac\theta{1-\theta})$ 因此：$\theta = \frac1{1+e^{-\eta}}$ , $T(y) = y$
  • 根据上述步骤：预测函数$h_\theta(x) =$$E${$T(y)|x;\theta$} = $\theta$ = $\frac1{1+e^{-\eta}}$
  • 由第三步知道：$\eta = \theta^Tx$
  • 因此：预测函数$h_\theta(x) =$$E${$T(y)|x;\theta$} = $\theta$ = $\frac1{1+e^{-\eta}}$ = $\frac1{1+e^{-\theta^Tx}}$

• 由此我们得到了我们需要的预测函数：$h_\theta(x) = \frac1{1+e^{-\theta^Tx}}$，然后由最大似然法确定迭代式。

梯度下降（Linear Regression）

• 准备用高斯分布模拟，所以：
  

• 整理后我们有：

  • $T(y) = y$ , $\eta = \mu$
  • 所以预测函数：$h_\theta(x) =$$E${$T(y)|x;\mu$} = $\mu$ = $\eta$
  • 因为：$\eta = \theta^Tx$，所以：$h_\theta(x) = \theta^Tx$

• 由此我们得到了我们需要的预测函数：$h_\theta(x) = \theta^Tx$，然后由最大似然法确定迭代式。

线性分类（Softmax Regression）

问题：

线性分类问题是logistic 回归的一个扩展，都是针对离散型结果，即分类问题。Softmax分类的Y值可以取{1, 2, 3, …… ,k} ,即有k中分类方式

模型建立：

• $p(y=i; \theta) = \theta_i$
• 上式整合：
  
• 因此：
  求解该式子：
  因此：

• 因为：$\eta =\theta^Tx$ ， 因此： $\eta_i = \theta_i x$， 其中我们可以知道$\theta$是一个K*N维矩阵。
  所以：

• 预测函数$h_\theta(x)$：
  

迭代式子：

• 利用最大似然法：
  

• 然后利用梯度下降或Newton迭代法