2.9 logistic回归中的梯度下降法（非常重要，一定要重点理解）

时间：2017-09-08 23:54:36 阅读：300 评论：0 收藏：0 [点我收藏+]

标签：技术应用 auto 核心 png src 更新 ima www

怎么样计算偏导数来实现logistic回归的梯度下降法
1. 它的核心关键点是其中的几个重要公式用来实现logistic回归的梯度下降法
接下来开始学习logistic回归的梯度下降法

logistic回归的公式
2. 现在只考虑单个样本的情况，关于该样本的损失函数定义如上面第三个公式，其中a是logistic回归的输出，y是样本的基本真值标签值，
下面写出该样本的偏导数流程图
1. 假设样本只有两个特征x1和x2
2. 为了计算Z，我们需要输入参数w1和w2和b
  2. 因此在logistic回归中，我们要做的就是变换参数w和b的值，来最最小化损失函数，
3. 在前面，我们已经前向传播步骤，在单个训练样本上，计算损失函数，现在我们开始讨论怎么样向后计算偏导数，（重点）
  2. 要想计算损失函数L的导数，
    1. 首先，我们需要向前一步，先计算损失函数的导数，计算函数L关于a的导数，在代码中，只需要使用da来表示这个变量，
      1. 事实上，
      2. 损失函数导数的计算公式就是这样，最终结果关于变量a的导数
    2. 现在可以再向后一步，计算dz，dz是损失函数关于z的导数，
      1. 事实上
    3. 现在，向后传播的最后一步，w和b需要如何变化，
      1. 特别的关于w1的导数（函数L对w1求导）
      2. 关于w2的求导
      3. 关于b的求导
        db=dz=a-y
    4. 因此，关于单个样本的梯度下降法，所需要做的就是使用这个计算公式计算dz，然后计算dw1、dw2、db，然后
      1. 更新w1位w1减去学习率乘以dw1
      2. 更新w2位w2减去学习率乘以dw2
      3. 更新b为b减去学习率乘以db
    5. 这就是单个样本实例的一次梯度更新步骤
4. 但是训练logistic回归模型，不仅仅只有一个训练样本，而是有m个训练样本的整个训练集，
  1. 下一节将会介绍，这些想法是如何应用到整个训练样本集当中的。而不仅仅是单个样本。