分类

模型如下：

1. 回归问题：学习的结果是连续的，比如房价等等
2. 分类问题：学习的结果是非连续的，分成某几个类

梯度下降

例子：
：

条件：

• 对于输入X有n个特征值。X = {$x_1, x_2, x_3, x_4, ....... ,x_n$}
• 一共有m组输入。$X_1, X_2, ...... , X_m$

结果：

• 根据给出的数据得到函数$h_θ$(x)，关于$\theta$的一个函数
• 
  

假设：

• 
• $J(\theta)$主要用来描述该方程在样本点的逼近程度

特点：

• 都具有局部最小值
• 最后的结果并不一定是总体的最小值

1.批梯度下降：

• 思路：
  先初始化$\theta$ = 0向量，然后通过学习，不断改变$\theta$使$J_\theta$不断减小，致使方程不断在学习点逼近真值。（至于为什么要选择最小二乘法和为什么这个值有极限，稍后给出证明）

• 迭代方程：
  
  其中：

  • $\alpha$决定下降速度

• 推导方程：
  

  迭代算法：
  

• 注意：

  • 该算法每次迭代查看了所有样本，知道$\theta$收敛
  • 收敛的意思是：误差在允许的范围内就没有继续发生变化了

2.增量梯度下降：

• 迭代算法：
  

• 注意：

  • 每次迭代只用到了第 $i$ 个样本

正规方程组

1.矩阵导数

• 表示：
  对矩阵A的导数，函数$f$是一个由矩阵到实数的映射
  

• 矩阵的迹：
  

• 相关的性质：

  • 交换性，要就矩阵的乘法有意义：
    

  • 

  • 

2.最小二乘法

令$J(\theta)$ 偏导为 0 我们可以直接求出$\theta$， 推导过程：

概率论解释

1.问题：

为什么在线性回归中我们要用最小二乘作为误差项，而不用三次方，四次方之类的。

2.解答：

• 设：
  
  $\epsilon^{(i)}$是误差项， $\epsilon^{(i)}$ ~ $N(0, \sigma^2)$

• 所以：
  
  即： $y^{(i)}$|$x^{(i)}；\theta$ ~ $N(\theta^Tx^{(i)}, \sigma^2)$

• 用最大概然法：
  
  

• 理解：
  我们把输入X，X = {$x_1, x_2, x_3, x_4, ....... ,x_n$}看做一组样本，而$Y$是一组样本对应的观测值，而且由前面的推导我们可以知道该事件是符合$y^{(i)}$|$x^{(i)}；\theta$ ~ $N(\theta^Tx^{(i)}, \sigma^2)$。因此利用最大似然法我们可以求出未知参数$\theta$，即最大化$L(\theta)$。

  • 在梯度下降中。最大化$L(\theta)$，就是最小化
    
    即$J(\theta)$，因此我们让$J(\theta)$的偏导作为增量更新$\theta$，最后$J(\theta)$的偏导近似为0时，我们认为迭代结束。
  • 在上面最小二乘法中。最大化$L(\theta)$，也就是令$l(\theta)$的偏导为0，因此我们可以直接求$l(\theta)$的偏导为0，求出$\theta$.