1 Gradient Checking 说明

前面我们已经实现了Linear Regression和Logistic Regression。关键在于代价函数Cost Function和其梯度Gradient的计算。

在Gradient的计算中，我们一般採用推导出来的计算公式来进行计算。

可是我们看到，推导出来的公式是复杂的。特别到后面的神经网络，更加复杂。这就产生了一个问题，我们怎样推断我们编写的程序就是计算出正确的Gradient呢？

解决的方法就是通过数值计算的方法来估算Gradient然后与用公式计算出来的数据做对照，假设差距非常小，那么就说明我们的计算是对的。

那么採用什么数值计算方法呢？

事实上就是基于最主要的求导公式：

ddθJ(θ)=limϵ→0J(θ+ϵ)−J(θ−ϵ)2ϵ.

我们取epsilon一个非常小的值，那么得到的数据就是导数的近似。

因此

g(θ)≈J(θ+EPSILON)−J(θ−EPSILON)2×EPSILON.

2 代码实现

这里我们不须要自己Code，官方已经给出了代码。我们仅仅须要分析一下：

这个代码用来计算gradient平均误差

% 说明：grad_check 參数
% fun为函数
% num_checks 检查次数
% varagin为參数列 var1,var2,var3...这个varagin必须放在function最后一个项
function average_error = grad_check(fun, theta0, num_checks, varargin)delta=1e-3; sum_error=0;fprintf(' Iter       i             err');fprintf('           g_est               g               f\n')for i=1:num_checksT = theta0;j = randsample(numel(T),1);T0=T; T0(j) = T0(j)-delta;T1=T; T1(j) = T1(j)+delta;[f,g] = fun(T, varargin{:}); %因为fun是linear_regression或logistic_regressionf0 = fun(T0, varargin{:});   %所以这里的varagin{:}參数为train.X,train.y f1 = fun(T1, varargin{:});g_est = (f1-f0) / (2*delta);error = abs(g(j) - g_est);fprintf('% 5d  % 6d % 15g % 15f % 15f % 15f\n', ...i,j,error,g(j),g_est,f);sum_error = sum_error + error;endaverage_error =sum_error/num_checks;

那么在使用中。比方在ex1a_linreg.m中，能够这样使用：

% Gradient Check
average_error = grad_check(@linear_regression_vec,theta,50,train.X,train.y);
fprintf('Average error :%f\n',average_error);

【本文为原创文章。转载请注明出处：blog.csdn.net/songrotek 欢迎交流哦QQ：363523441】

转载于:https://www.cnblogs.com/llguanli/p/7158577.html

深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4：Debugging: Gradient Checking相关推荐

机器学习(Machine Learning)深度学习(Deep Learning)资料(Chapter 2)
机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2) - tony的专栏 - 博客频道 - CSDN.NET 注:机器学习资料篇目一共 ...
【深度学习Deep Learning】资料大全
感谢关注天善智能,走好数据之路↑↑↑ 欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答.求职一站式搞定! 对商业智能BI.大数据分析挖掘.机器学习, ...
机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
深度学习Deep Learning 资料大全
转自:http://www.cnblogs.com/charlotte77/ [深度学习Deep Learning]资料大全最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: ...
机器学习(Machine Learning)深度学习(Deep Learning)资料【转】
转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...
机器学习 Machine Learning 深度学习 Deep Learning 资料
机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008 ...
大量机器学习(Machine Learning)深度学习(Deep Learning)资料
机器学习目前比较热,网上也散落着很多相关的公开课和学习资源,这里基于课程图谱的机器学习公开课标签做一个汇总整理,便于大家参考对比. 1.Coursera上斯坦福大学Andrew Ng教授的" ...
机器学习(Machine Learning)amp;深度学习(Deep Learning)资料
机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008 ...

深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4：Debugging: Gradient Checking

1 Gradient Checking 说明

2 代码实现

深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4：Debugging: Gradient Checking相关推荐

最新文章

热门文章