ufldl tutorial excise - Supervised Learning and Optimization

get start code: https://github.com/amaas/stanford_dl_ex

注意，该工具包使用lbfgs作为优化算法，如果在win32平台下使用，查看common\minFunc_2012\minFunc\compiled目录会发现这里缺少lbfgsAddC.mexw32和lbfgsProdC.mexw32，调用时会报错： Undefined function or method 'lbfgsAddC' for input arguments of type 'int32'。

解决办法是mex两个文件的C源文件，位于\common\minFunc_2012\minFunc\mex目录下：

mex lbfgsAddC

提示选择编译器，选择默认的lcc编译器，将编译好的后缀名为mexw32的文件复制到compiled目录下即可，lbfgsProdC同理。

get data: http://ai.stanford.edu/~amaas/data/data.zip

1, Linear Regression

修改linear_regression.m的末尾

%%% YOUR CODE HERE %%%
for i=1:m
f = f + 0.5 * ( (theta' * X(:, i) - y(i))^2 );
end
for j=1:n
for i=1:m
g(j) = g(j) + X(j, i)*(theta'*X(:, i) - y(i));
end
end

向量化代码如下：

y_hat = theta'*X;
f = sum( (y_hat - y).^2 )/2;
g = X*(y_hat' - y');

运行ex1a_linreg.m，得到结果如下:

2, Logistic Regression

修改logistic_regression.m末尾

%%% YOUR CODE HERE %%%
for i=1:m
h = sigmoid(theta'*X(:, i));
f = f + ( y(i) * log(h) + (1 - y(i))*log(1 - h) );
end
for j=1:n
for i=1:m
g(j) = g(j) + X(j, i)*(sigmoid(theta'*X(:, i)) - y(i));
end
end

向量化代码：

y_hat = sigmoid(theta'*X);
f = (-1)*sum( y*log(y_hat') + (1-y)*log(1-y_hat') );
g = X*(y_hat' - y');

运行ex1b_logreg.m，提示错误：
??? Error using ==> fread
Invalid precision.
Error in ==> loadMNISTImages at 15
images = fread(fp, inf, 'unsigned char');

修改loadMNISTImages.m

images = fread(fp, inf, 'unsigned char'); 改为：images = fread(fp, inf, 'uchar');

继续运行ex1b_logreg.m，提示错误：

??? Error using ==> permute
Out of memory. Type HELP MEMORY for your options.

是由于WIN32虚拟内存不够引起。

处理方法参照：http://blog.csdn.net/abcjennifer/article/details/43193865

结果如下:

......

Step Size below progTol
Optimization took 126.380402 seconds.
Training accuracy: 100.0%
Test accuracy: 100.0%

3, gradient check

a. 在ex1a_linreg.m文件中:

theta = rand(n,1);

%grad_check(@linear_regression, theta, 100, train.X, train.y);
grad_check(@linear_regression_vec, theta, 100, train.X, train.y);

b. 在ex1b_logreg.m文件中：

theta = rand(n,1)*0.001;
%grad_check(@linear_regression, theta, 100, train.X, train.y);
grad_check(@linear_regression_vec, theta, 100, train.X, train.y);

4, softmax

cost function的形式，看得出来是最大似乎估计的log形式

值得注意的是这一段话：

But the Hessian is singular/non-invertible, which causes a straightforward implementation of Newton’s method to run into numerical problems.

可以理解为最优化参数不唯一，当cost达到最小时，参数依然可以向某个方向移动，优化的时候常常会出现问题，可以对参数再加上额外的约束。

ufldl tutorial excise - Supervised Learning and Optimization相关推荐

ML之SL：监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介.应用.经典案例之详细攻略目录监督学习(Supervised Learning)的简介 1.监督学习问题的两大类-分类问题和回归 ...
文献学习(part90)--How Can Machine Learning and Optimization Help Each Other Better?
学习笔记,仅供参考,有错必纠关键词:优化:机器学习:概括能力:数据文章目录 How Can Machine Learning and Optimization Help Each Other Be ...
UFLDL机器学习 Andrew Ng-Deep Learning课程
UFLDL机器学习 && Andrew Ng-Deep Learning课程本博客转载自:http://blog.csdn.net/u012432611/article/detail ...
【论文导读】- Link Weight Prediction Using Supervised Learning Methods（使用监督学习方法的链路权重预测及其在Yelp网络中的应用）
文章目录论文信息摘要主要内容(contributions) 图模型和评价指标特征指标原图特征指标原始图转线图线图特征指标论文信息 Link Weight Prediction Usin ...
监督学习（supervised learning）与非监督学习（unsupervised learning）
一,监督学习(supervised learning): 监督学习(supervised learning)的任务是学习一个模型,使模型能够对任意给定的输入,对其相应的输出做出一个好的预测. 即:利用 ...
Self -Supervised Learning
Self -Supervised Learning 个人学习笔记: BART使用了MASS中的所有方法(五种),结果表现更好实验:将DNA表示中的A.T.C和G随机赋英文单词,将每个类别组成一个文本 ...
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity
INF442 Amphi 6: Supervised learning and k-NN predictors | Genericity 1. Supervised Learning 1.1 不同的损 ...
1.Supervised Learning with Projected Entangled Pair States
Supervised Learning with Projected Entangled Pair States 这份笔记是在阅读论文<Supervised Learning with Proj ...
关于弱监督学习的详细介绍——A Brief Introduction to Weakly Supervised Learning
目录介绍主动学习半监督学习多实例学习带噪学习 Snorkel 框架介绍参考介绍在机器学习领域,学习任务可大致划分为两类,一种是监督学习,另一种是非监督学习.通常,两者都需要从包含大量训 ...
弱监督学习 weakly supervised learning 笔记
周志华 A Brief Introduction to Weakly Supervised Learning 2018 引言在机器学习领域,学习任务可以划分为监督学习.非监督学习.通常,两者都需要从 ...

ufldl tutorial excise - Supervised Learning and Optimization

ufldl tutorial excise - Supervised Learning and Optimization相关推荐

最新文章

热门文章