机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论

题目：

这是机器学习基石作业三种的第二小题，额，在网上看了很多解答（解答也不多）感觉都没有说清楚为什么，所以励志清楚滴解决一下这个问题，经过努力，自认为得到了详细的解答，内容如下：

（一）解决选项（e）：

当t=1时：

当t>=2时，假设,则有

所以，,即H为幂等矩阵，那么最终就必然成立了。

所以选项（e）是正确的。

（二）解决选项（c）（d）：

设为H的任意特征值（对应于某个非零向量）,则是的特征值（对应于同一个非零向量）

=>是的特征值，又，所以是0矩阵的任意特征值；而0矩阵的特征值只能为0；

=>=0；=>或

又 trace(H)=trace()=trace(){原因trace(ABC)=trace(CAB)}

由题可知，可逆，且,所以trace(H)=trace()=d+1

而trace(H)等于所有特征值的和，其值为d+1，而特征值只能为0或1，所以必有d+1个特征值恰好是1；

综上（c）错误，（d）正确。

（三）解决选项（a）（b）：

所以H是对称矩阵，且,

因为实对称矩阵为半正定的充要条件是：A的特征值全部非负。所以由（二）可知H为半正定矩阵。（a正确）

而对于实对称矩阵其秩为非零特征值的个数，由（二）知为d+1；所以当N>(d+1)的时候，H必然是不可逆的。（b错误）

在解决了问题以后，我们就来看看林老师在课程中提出的通过H来证明线性回归的.

最重要的就是先理解这幅图了。

首先，这是一个什么空间？这是一个以所有的样本对应的预测值为坐标轴的值空间。

假设样本为，那么。span of X则是整个假设空间H的值空间：

span of X

同时再增加一些假设（个人认为需要加的）:noise的来源只是对于给定的观察到了错误的y，而本身不产生noise。

并且，对于每一个的真实观测值必然包含于H，也就是我们的假设空间是可分的（定义来源于《西瓜书》）。这样

也就说明了f()必然包含于span of X。因为垂直于span of X，所以垂直于f(x),那么f(x)*(I-H)，也就是f(x)

向投影的值为0。

这样，很自然的就有如下的公式：

设noise level =

而前面的I-H则是一个矩阵，而则是I-H的范数的平方，我们用F范数来刻画的话，则

所以noise level*(N-(d+1))=

机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论相关推荐

机器学习基石-作业二-第10题分析
题目如上图所示,答案是::在网上看到的答案中有一个很好的解释就是说在一个n纬的欧几里德空间里,分别按照参数做一个垂直于每个轴的超平面,这些超平面能够打散这么多个点.首先我承认这个事实,具体的证明还没做 ...
機器學習基石(Machine Learning Foundations) 机器学习基石作业三课后习题解答
今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答.笔者在做这些题目时遇到很多困难,当我在网上寻找答案时却找不到,而林老 ...
机器学习基石-作业三-代码部分
梯度下降迭代和牛顿迭代,gradient_and_newton.py # -*- coding:utf-8 -*- # Author: Evan Mi import numpy as np" ...
机器学习基石作业03：二阶泰勒展开，特征转换，逻辑回归
本文总结机器学习基石的第三次作业,主要包括误差函数.特征转换.二阶泰勒展开,以及线性回归,逻辑回归的实现. 问题1和问题2:关于线性回归问题中 E i n E_{in} Ein和 E o u t E ...
Day14作业三、编程题写一个Student类，属性：名字，年龄，分数，班级 (注意分包)
三.编程题写一个Student类,属性:名字,年龄,分数,班级 (注意分包) 写一个测试类:创建一个集合,里面装6个学生(有三个班级class01,class02,class03) 例如:list. ...
机器学习基石-作业四-代码部分
这次的作业内容主要就是对带正则化项的线性规划的闭式解做各种操作:选择.把数据分成训练集和交叉验证.k-折交叉验证.完全套公式就可以了,这里唯一的一个问题就是偏移量参不参加正则化: 在林老师的课程中,最 ...
机器学习大作业《Kaggle赛题之Kannada MNIST研究》论文和Python代码
一.赛题概述及分析 1.背景介绍邮政系统每天都会处理大量的信件,最为要紧的一环是要根据信件上的收信人邮编进行识别和分类,以便确定信件的投送地.原本这项任务是依靠大量的人工来进行,后来人们尝试让计算机 ...
机器学习基石作业二中的DECISION_STUMP实现
概要:在林老的题目描述中,DECISION_STUMP(其实就是"决策桩",也就是只有一层的决策树).题目中提到了的选去是把属性(一维的)按照从小到大的顺序排列以后取两个挨着的值的 ...
机器学习基石作业一中的PLA和POCKET_PLA实现
前提:文中使用的数据是本人下载下来以后自己处理过的,就是把文件中的所有分隔符都换成了空格.所以load_data方法只能加载我自己的数据,想要加载原生数据的话需要自己写load_data方法. 两个算 ...

机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论

机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论相关推荐

最新文章

热门文章