机器学习基石-作业四-代码部分

这次的作业内容主要就是对带正则化项的线性规划的闭式解做各种操作：选择 $\lambda$ 、把数据分成训练集和交叉验证、k-折交叉验证。完全套公式就可以了，这里唯一的一个问题就是偏移量参不参加正则化；

在林老师的课程中，最后的闭式解的公式为：

$w_{reg}=(X^TX+\lambda I)^{-1}X^Ty$

按照这个公式，线性得分函数中的b也参加了正则化。

而在吴恩达的课程，以及很多其他的地方得到的经验是，b一般是不参加正则化的。按照这样的理解，假设w0=b，那么公式为：

$w_{reg}=(X^TX+\lambda\begin{bmatrix} 0 & & & \\ & 1 & & \\ & & 1 & \\ & & & ... \\ & & & 1 \end{bmatrix})^{-1}X^Ty$

本人更倾向于后者。但是为了和林老师的答案一致，程序中采用了第一种计算公式。

具体代码如下，套公式就可以了：

# -*- coding:utf-8 -*-
# Author: Evan Mi
import numpy as npdef load_data(file_name):x = []y = []with open(file_name, 'r+') as f:for line in f:line = line.rstrip("\n")temp = line.split(" ")temp.insert(0, '1')x_temp = [float(val) for val in temp[:-1]]y_tem = [int(val) for val in temp[-1:]][0]x.append(x_temp)y.append(y_tem)nx = np.array(x)ny = np.array(y)return nx, nydef sign_zero_as_neg(x):"""这里修改了np自带的sign函数，当传入的值为0的时候，不再返回0，而是-1；也就是说在边界上的点按反例处理:param x::return:"""result = np.sign(x)result[result == 0] = -1return resultdef get_w_reg(x, y, lambdas):w_reg = np.dot(np.linalg.pinv(np.dot(np.transpose(x), x) + lambdas * np.eye(np.size(x, axis=1))),np.dot(np.transpose(x), y))return w_reg.flatten()def e_counter(x, y, w):local_result = sign_zero_as_neg(np.dot(x, w))e = np.where(local_result == y, 0, 1)return e.sum()/np.size(e)def exe_13():print('#13:')train_x, train_y = load_data("data/train.txt")test_x, test_y = load_data("data/test.txt")w_reg_one = get_w_reg(train_x, train_y, 10)e_in = e_counter(train_x, train_y, w_reg_one)e_out = e_counter(test_x, test_y, w_reg_one)print("E_IN:", e_in)print("E_OUT:", e_out)def exe_14_15():print('#14,#15')train_x, train_y = load_data("data/train.txt")test_x, test_y = load_data("data/test.txt")for i in range(-10, 3):lambda_tem = 10 ** iw_reg_tem = get_w_reg(train_x, train_y, lambda_tem)e_in_tem = e_counter(train_x, train_y, w_reg_tem)e_out_tem = e_counter(test_x, test_y, w_reg_tem)print("log_10(%d)" % i, e_in_tem, e_out_tem)def exe_16_17():print('#16,17')x_tem, y_tem = load_data("data/train.txt")test_x, test_y = load_data("data/test.txt")train_x = x_tem[:120, :]val_x = x_tem[120:, :]train_y = y_tem[:120]val_y = y_tem[120:]for i in range(-10, 3):lambda_tem = 10 ** iw_reg_tem = get_w_reg(train_x, train_y, lambda_tem)e_in_tem = e_counter(train_x, train_y, w_reg_tem)e_val_tem = e_counter(val_x, val_y, w_reg_tem)e_out_tem = e_counter(test_x, test_y, w_reg_tem)print("log_10(%d)" % i, e_in_tem, e_val_tem, e_out_tem)def exe_18():print('#18:')train_x, train_y = load_data("data/train.txt")test_x, test_y = load_data("data/test.txt")# lambda = log_10(0)w_reg_one = get_w_reg(train_x, train_y, 1)e_in = e_counter(train_x, train_y, w_reg_one)e_out = e_counter(test_x, test_y, w_reg_one)print("E_IN:", e_in)print("E_OUT:", e_out)def exe_19():print('#19')train_x, train_y = load_data("data/train.txt")for i in range(-10, 3):lambda_tem = 10 ** ie_cross = []for j in range(0, 200, 40):x_val = train_x[j:j+40, :]y_val = train_y[j:j+40]x_remain_left = train_x[0:j, :]x_remain_right = train_x[j+40:, :]y_remain_left = train_y[0:j]y_remain_right = train_y[j + 40:]if np.size(x_remain_left, axis=0) == 0:x_train = x_remain_righty_train = y_remain_rightelif np.size(x_remain_right, axis=0) == 0:x_train = x_remain_lefty_train = y_remain_leftelse:x_train = np.concatenate((train_x[0:j, :], train_x[j + 40:, :]), axis=0)y_train = np.concatenate((train_y[0:j], train_y[j + 40:]), axis=0)w_reg_tem = get_w_reg(x_train, y_train, lambda_tem)e_cross.append(e_counter(x_val, y_val, w_reg_tem))print("lambda:", "log_10(%d)" % i, "E_CV", np.array(e_cross).mean())def exe_20():print('#20:')train_x, train_y = load_data("data/train.txt")test_x, test_y = load_data("data/test.txt")# lambda = log_10(-8)w_reg_one = get_w_reg(train_x, train_y, 10 ** -8)e_in = e_counter(train_x, train_y, w_reg_one)e_out = e_counter(test_x, test_y, w_reg_one)print("E_IN:", e_in)print("E_OUT:", e_out)if __name__ == '__main__':exe_13()exe_14_15()exe_16_17()exe_18()exe_19()exe_20()

详细代码及代码使用的数据见：机器基石作业四

机器学习基石-作业四-代码部分相关推荐

机器学习基石-作业三-代码部分
梯度下降迭代和牛顿迭代,gradient_and_newton.py # -*- coding:utf-8 -*- # Author: Evan Mi import numpy as np" ...
机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论
题目: 这是机器学习基石作业三种的第二小题,额,在网上看了很多解答(解答也不多)感觉都没有说清楚为什么,所以励志清楚滴解决一下这个问题,经过努力,自认为得到了详细的解答,内容如下: (一)解决选项(e ...
机器学习基石作业03：二阶泰勒展开，特征转换，逻辑回归
本文总结机器学习基石的第三次作业,主要包括误差函数.特征转换.二阶泰勒展开,以及线性回归,逻辑回归的实现. 问题1和问题2:关于线性回归问题中 E i n E_{in} Ein和 E o u t E ...
机器学习基石第四讲：feasibility of learning
博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) 刚刚完成机器学习基石的第四节,这一节讨论机器学习的可行性,用到了Hoeffding' ...
機器學習基石(Machine Learning Foundations) 机器学习基石作业三课后习题解答
今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答.笔者在做这些题目时遇到很多困难,当我在网上寻找答案时却找不到,而林老 ...
机器学习基石作业一中的PLA和POCKET_PLA实现
前提:文中使用的数据是本人下载下来以后自己处理过的,就是把文件中的所有分隔符都换成了空格.所以load_data方法只能加载我自己的数据,想要加载原生数据的话需要自己写load_data方法. 两个算 ...
机器学习基石作业二中的DECISION_STUMP实现
概要:在林老的题目描述中,DECISION_STUMP(其实就是"决策桩",也就是只有一层的决策树).题目中提到了的选去是把属性(一维的)按照从小到大的顺序排列以后取两个挨着的值的 ...
机器学习基石-作业二-第10题分析
题目如上图所示,答案是::在网上看到的答案中有一个很好的解释就是说在一个n纬的欧几里德空间里,分别按照参数做一个垂直于每个轴的超平面,这些超平面能够打散这么多个点.首先我承认这个事实,具体的证明还没做 ...
《机器学习基石》作业一
博客已经迁移到Marcovaldo's blog (http://marcovaldong.github.io/) 已入机器学习坑,下决心走下去.<统计学习方法>一书介绍了十种算法,不算太 ...

机器学习基石-作业四-代码部分

机器学习基石-作业四-代码部分相关推荐

最新文章

热门文章