BP算法细节 参数说明：假设有n层。J表示代价函数，和上面的E是同样的意思，只不过用不同的字母写而已。 分析：要想知道第l层的第i个结点的残差，必须知道该节点所连接的下一层的各个结点的权值，以及这些结点的残差，幸亏第l+1层已经计算出来了残差，你只要把后面一层的每个结点j的残差乘以该结点与这一层的结 ...
分类：
其他好文 时间：
2017-06-05 19:24:34
阅读次数：
252
机器学习是在模型空间中选择最优模型的过程，所谓最优模型，及可以很好地拟合已有数据集，并且正确预测未知数据。 那么如何评价一个模型的优劣的，用代价函数（Cost function）来度量预测错误的程度。代价函数有很多中，在Ng的视频中，Linear Regression用的是平方代价函数： Logis ...
分类：
系统相关 时间：
2017-05-20 14:26:59
阅读次数：
261
二、单变量线性回归(Linear Regression with One Variable) 2.1 模型表示 2.2 代价函数 2.3 代价函数的直观理解 2.4 梯度下降 2.5 梯度下降的直观理解 2.6 梯度下降的线性回归 2.7 接下来的内容 2.1 模型表示 之前的房屋交易问题为例，假使 ...
分类：
其他好文 时间：
2017-05-06 19:59:57
阅读次数：
263
7.1 过拟合的问题 7.2 代价函数 7.3 正则化线性回归 7.4 正则化的逻辑回归模型 7.1 过拟合的问题 如果我们有非常多的特征，我们通过学习得到的假设预测可能能够非常好地适应训练集（代价函数可能几乎为 0），但是可能会不能推广到新的数据。 下图是一个回归问题的例子： 第一个模型是一个线性 ...
分类：
其他好文 时间：
2017-05-06 17:56:55
阅读次数：
238
说明： 本文主要是关于http://neuralnetworksanddeeplearning.com/的相关笔记 问题一：神经元在错误的值上饱和导致学习速率的下降 解决： 1.输出层： 因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢， 可以使用交叉熵代价函数 使得在神经元 ...
分类：
其他好文 时间：
2017-05-05 19:26:21
阅读次数：
120
二、单变量线性回归(Linear Regression with One Variable) 2.1 模型表示 2.2 代价函数 2.3 代价函数的直观理解 2.4 梯度下降 2.5 梯度下降的直观理解 2.6 梯度下降的线性回归 2.7 接下来的内容 2.1 模型表示 之前的房屋交易问题为例，假使 ...
分类：
其他好文 时间：
2017-04-22 19:45:43
阅读次数：
277
引言 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 为什么使用梯度下降法 我们使用梯度下降法最小化目标函数J(θ)。在 ...
分类：
编程语言 时间：
2017-04-10 10:53:29
阅读次数：
246
注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，对代价函数的理解也在不断的加深， ...
分类：
其他好文 时间：
2017-04-01 20:23:03
阅读次数：
396
一、正则化应用于基于梯度下降的线性回归 上一篇文章我们说过，通过正则化的思想，我们将代价函数附加了一个惩罚项，变成如下的公式： 那么我们将这一公式套用到线性回归的代价函数中去。我们说过，一般而言θ0我们不做处理，所以我们把梯度下降计算代价函数最优解的过程转化为如下两个公式。 我们通过j>0的式子，能... ...
分类：
其他好文 时间：
2017-03-17 00:12:37
阅读次数：
214
How the backpropagation algorithm works 反向传播的目标是计算代价函数C分别关于w和b的偏导数?C/?w和?C/?b。 反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数?C/?w的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快 ...
分类：
编程语言 时间：
2017-03-15 12:42:26
阅读次数：
384
