码迷,mamicode.com
首页 > 其他好文 > 详细

深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4:Debugging: Gradient Checking

时间:2014-11-20 13:46:16      阅读:339      评论:0      收藏:0      [点我收藏+]

标签:ufldl   深度学习   deep learning   gradient   

1 Gradient Checking 说明

前面我们已经实现了Linear Regression和Logistic Regression,关键在于代价函数Cost Function和其梯度Gradient的计算。
在Gradient的计算中,我们一般采用推导出来的计算公式来进行计算。

但是我们看到,推导出来的公式是复杂的,特别到后面的神经网络,更加复杂。这就产生了一个问题,我们如何判断我们编写的程序就是计算出正确的Gradient呢?

解决办法就是通过数值计算的方法来估算Gradient然后与用公式计算出来的数据做对比,如果差距很小,那么就说明我们的计算是对的。

那么采用什么数值计算方法呢?
其实就是基于最基本的求导公式:

ddθJ(θ)=lim?0J(θ+?)?J(θ??)2?.

我们取epsilon一个很小的值,那么得到的数据就是导数的近似。

因此
g(θ)J(θ+EPSILON)?J(θ?EPSILON)2×EPSILON.

2 代码实现

这里我们不需要自己Code,官方已经给出了代码,我们只需要分析一下:
这个代码用来计算gradient平均误差
% 说明:grad_check 参数
% fun为函数
% num_checks 检查次数
% varagin为参数列 var1,var2,var3...这个varagin必须放在function最后一个项
function average_error = grad_check(fun, theta0, num_checks, varargin)

  delta=1e-3; 
  sum_error=0;

  fprintf(‘ Iter       i             err‘);
  fprintf(‘           g_est               g               f\n‘)

  for i=1:num_checks
    T = theta0;
    j = randsample(numel(T),1);
    T0=T; T0(j) = T0(j)-delta;
    T1=T; T1(j) = T1(j)+delta;

    [f,g] = fun(T, varargin{:}); %由于fun是linear_regression或logistic_regression
    f0 = fun(T0, varargin{:});   %所以这里的varagin{:}参数为train.X,train.y 
    f1 = fun(T1, varargin{:});

    g_est = (f1-f0) / (2*delta);
    error = abs(g(j) - g_est);

    fprintf(‘% 5d  % 6d % 15g % 15f % 15f % 15f\n‘, ...
            i,j,error,g(j),g_est,f);

    sum_error = sum_error + error;
  end

  average_error =sum_error/num_checks;

那么在使用中,比如在ex1a_linreg.m中,可以这样使用:
% Gradient Check
average_error = grad_check(@linear_regression_vec,theta,50,train.X,train.y);
fprintf(‘Average error :%f\n‘,average_error);

【本文为原创文章,转载请注明出处:blog.csdn.net/songrotek  欢迎交流哦QQ:363523441】

深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4:Debugging: Gradient Checking

标签:ufldl   深度学习   deep learning   gradient   

原文地址:http://blog.csdn.net/songrotek/article/details/41309615

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!