机器学习基石-作业二-第10题分析

题目如上图所示，答案是： $2^{d}$ ；在网上看到的答案中有一个很好的解释就是说在一个n纬的欧几里德空间里，分别按照参数做一个垂直于每个轴的超平面，这些超平面能够打散 $2^{d}$ 这么多个点。首先我承认这个事实，具体的证明还没做过。这篇博文的主要作用是把题目转换成前面的描述，也就是说明两个问题是等价的。不想太简单，也不想太复杂，就拿二维平面来举例子了。

一下的讨论都在二维空间中进行：

首先来看S 是一个 $\{0,1\}^d$ 的向量的集合，在二维空间里就是 $\{0,1\}^2$ 的集合；更具体的来看：

$S\subseteq \{[0,0]^T,[0, 1]^T,[1,0]^T,[1,1]^T\}$ ；S是h的参数

接着是t，这个t向量在二维空间中就是 $[\mathbb{R},\mathbb{R}]^T$ 的向量；t是h的参数

接着是输入x，这个x向量在二维空间中也是 $[\mathbb{R},\mathbb{R}]^T$ 的向量；x是自变量

最后到了h，这个h首先通过比较x与t的每一个分量（就像decision stump一样），把x转换为一个 $\hat{x}\in \{[0,0]^T,[0, 1]^T,[1,0]^T,[1,1]^T\}$ ,然后当 $\hat{x}\in S$ 时输出1， $\hat{x}\notin S$ 时输出-1；

到这里可能还是有些抽象，所以下面举一个具体的假设：

$h_{1}: t =[3.6, 5.2]^T$ , $S=\{[1,1]^T,[0,1]^T\}$ ; 对应的样本点是{X1=(1,1),X2=(6,6),X3=(3,8),X4=(5,5)}

把样本点带入 $h_{1}$ ,可以得到 Y1=-1,Y2=1,Y3=1,Y4=-1;

把t的两个分量作为两个边界，也就是在二维看空间中，把他们看成x=3.6和y=5.2这两条直线；那么平面中的点就会被划分到4个区域中，如下图所示：

(蓝色为正例，红色为反例），这其实就是在用垂直于轴的线来划分这个平面。

这个过程其实是这样的，

$h_{1}$ 通过把x与t比较把四个区域中的点全部打上了各自的标记，如下图所示：

拿[1,1]区域来说，所有在这个区域的点在 $h_{1}$ 看来都是 $[1,1]^T$ 向量；也就是说经过了t的处理，在 $h_{1}$ 眼中就只有

$[0,0]^1,[0,1]^T,[1,0]^T,[1,1]^T$ 这四类点。

然后S就上场了， $h_{1}$ 的参数 $S=\{[1,1]^T,[0,1]^T\}$ ，同时 $h_{1}$ 又说，包含在S中的是1，不在S中的是-1；也就是给每个区域赋值了分类标记，如下图：

到这里，可以明确的说， $h_{1}$ 就是用两条垂直于轴的直线在划分平面。

那么假设空间H中，包含着各种的t和S所决定的h；H的能力也就自然是分别按照参数做一个垂直于每个轴的超平面，然后给每一个小区域赋值不同的类别标记了。

机器学习基石-作业二-第10题分析相关推荐

机器学习基石-作业三-第2题分析以及通过H证明EIN的讨论
题目: 这是机器学习基石作业三种的第二小题,额,在网上看了很多解答(解答也不多)感觉都没有说清楚为什么,所以励志清楚滴解决一下这个问题,经过努力,自认为得到了详细的解答,内容如下: (一)解决选项(e ...
机器学习基石作业03：二阶泰勒展开，特征转换，逻辑回归
本文总结机器学习基石的第三次作业,主要包括误差函数.特征转换.二阶泰勒展开,以及线性回归,逻辑回归的实现. 问题1和问题2:关于线性回归问题中 E i n E_{in} Ein和 E o u t E ...
台湾大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression
红色石头的个人网站:redstonewill.com 上一节课,我们介绍了Linear Regression线性回归,以及用平方错误来寻找最佳的权重向量w,获得最好的线性预测.本节课将介绍Logist ...
机器学习基石-作业四-代码部分
这次的作业内容主要就是对带正则化项的线性规划的闭式解做各种操作:选择.把数据分成训练集和交叉验证.k-折交叉验证.完全套公式就可以了,这里唯一的一个问题就是偏移量参不参加正则化: 在林老师的课程中,最 ...
機器學習基石(Machine Learning Foundations) 机器学习基石作业三课后习题解答
今天和大家分享coursera-NTU-機器學習基石(Machine Learning Foundations)-作业三的习题解答.笔者在做这些题目时遇到很多困难,当我在网上寻找答案时却找不到,而林老 ...
机器学习大作业《Kaggle赛题之Kannada MNIST研究》论文和Python代码
一.赛题概述及分析 1.背景介绍邮政系统每天都会处理大量的信件,最为要紧的一环是要根据信件上的收信人邮编进行识别和分类,以便确定信件的投送地.原本这项任务是依靠大量的人工来进行,后来人们尝试让计算机 ...
数据压缩作业二：PNG图像格式分析
概述 PNG是一种无损压缩的位图图形格式.其设计目的是试图替代GIF和TIFF文件格式,同时增加一些GIF文件格式所不具备的特性.PNG支持索引.灰度.RGB三种颜色方案以及alpha通道等特性.PN ...
数据压缩作业二 TGA格式文件分析
1 TGA格式简介 TGA(Targa)格式是计算机上应用最广泛的图象格式.在兼顾了BMP的图象质量的同时又兼顾了JPEG的体积优势.并且还有自身的特点:通道效果.方向性.在CG领域常作为影视动画的序 ...
机器学习基石-作业三-代码部分
梯度下降迭代和牛顿迭代,gradient_and_newton.py # -*- coding:utf-8 -*- # Author: Evan Mi import numpy as np" ...

机器学习基石-作业二-第10题分析

机器学习基石-作业二-第10题分析相关推荐

最新文章

热门文章