吴恩达教授机器学习课程笔记【八】- Part 8 感知器和大间隔分类器（在线学习感知器算法错分类次数上界及其证明）

本节为吴恩达教授机器学习课程笔记第八部分，讲义标题感知器与大间隔分类器，实际上该部分只讲了在线学习的感知器算法错分类的次数上界及其证明，也是学习理论的一部分。

本节主要考虑在线学习的问题，即算法在进行预测的同时也在不断进行学习。假定按顺序给出的一系列样本(x(1),y(1)),(x(2),y(2)),....,(x(m),y(m))(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),....,(x^{(m)},y^{(m)})(x(1),y(1)),(x(2),y(2)),....,(x(m),y(m))，算法首先接收x(1)x^{(1)}x(1)，然后预测它认为的y(1)y^{(1)}y(1)，之后把y(1)y^{(1)}y(1)的真实值输入算法，算法可以利用这个信息进行学习，之后算法输入x(2)x^{(2)}x(2)，重复上面的过程直至所有样本都输入完。我们将重点关注这个在线学习的过程中算法累计的误差，下面的讨论将给出感知器算法的在线学习的误差边界。
为了简化问题讨论，我们假定类别标签y=∈{−1,1}y = \in \{-1,1\}y=∈{−1,1}，对于感知器算法，有：

其中：

给定训练样本(x,y)(x,y)(x,y)，感知器学习规则按如下的方式更新参数：如果hθ(x)=yh_{\theta}(x)=yhθ(x)=y，那么无需更新；否则：

下面的定理就给出了感知器算法在线学习的误差边界，注意这个界和样本的数量mmm以及特征的维度nnn是没有关系的：

下面对这个定理进行证明，感知器仅对于错分样本更新权重，假定θ(k)\theta^{(k)}θ(k)是第k次错分时的权重，有θ(1)=0→\theta^{(1)}=\overrightarrow 0θ(1)=0，如果第kkk次错分是在样本(x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i))上发生的，那么：

就表明：

根据感知器学习法则，我们有θ(k+1)=θ(k)+y(i)x(i)\theta^{(k+1)}=\theta^{(k)}+y^{(i)}x^{(i)}θ(k+1)=θ(k)+y(i)x(i)，则：

通过简单归纳，有：

同时有：

简单的归纳有：

综合来看，即：

证得：

也就是说在线学习的感知器算法在定理给定的数据集上工作，那么错分类的次数必然有一个和样本数量与特征维数无关的上界。

欢迎扫描二维码关注微信公众号深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]

吴恩达教授机器学习课程笔记【八】- Part 8 感知器和大间隔分类器（在线学习感知器算法错分类次数上界及其证明）相关推荐

吴恩达《机器学习》笔记汇总
根据学习进度,将课程分为15部分进行笔记,具体内容如下: 吴恩达机器学习(一)-- 简介吴恩达机器学习(二)-- 线性回归吴恩达机器学习(三)-- Logisitic回归吴恩达机器学习(四)-- ...
吴恩达《机器学习》笔记（一）【线性回归梯度下降法】
通过在网易云课堂学习吴恩达先生的<机器学习>课程,为了巩固自己的学习且方便读者们共同交流学习,特此做此学习笔记,希望与大家共勉. 吴恩达<机器学习>课程链接:https://s ...
【机器学习吴恩达】CS229课程笔记notes3翻译-Part V支持向量机
CS229 课程笔记吴恩达 Part V 支持向量机这部分展现了支持向量机(SVM)学习算法.SVM是最好的监督学习算法之一.为了讲述SVM,我们需要首先谈论边界和用大的间隔分离数据.接下来,我们 ...
【AI】吴恩达斯坦福机器学习中文笔记汇总
1.吴恩达机器学习和深度学习课程的字幕翻译以及笔记整理参见: 以黄海广博士为首的一群机器学习爱好者发起的公益性质项目(http://www.ai-start.com). 2.黄海广博士公益项目介绍 h ...
【机器学习吴恩达】2022课程笔记（持续更新）
一.机器学习 1.1 机器学习定义计算机程序从经验E中学习,解决某一任务T,进行某一性能P,通过P测定在T上的表现因经验E而提高 eg:跳棋程序 E: 程序自身下的上万盘棋局 T: 下跳棋 P: 与 ...
Chapter5：Octave教程：AndrewNg吴恩达《机器学习》笔记
文章目录 Chapter 5 : Octave 教程 5.1 基本操作 5.2 移动数据 5.3 计算数据 5.4 绘图数据 5.5 控制语句:for,while,if语句 5.6 向量化 5.7 工 ...
课程笔记|吴恩达Coursera机器学习 Week1 笔记-机器学习基础
1 1. Introduction 1.1 Supervised Learning 已知输入x以及其对应的标签y,求解 f:x→y 回归 regression:输出的结果y是一个连续的变量 y=ℝ 分 ...
Chapter1：监督学习、无监督学习：AndrewNg吴恩达《机器学习》笔记
文章目录 Chapter 1 Introduction 1.1 Welcome 1.2 Definition 1.2.1 定义1: --from **Arthur Samuel** 1.2.2 定义2 ...
吴恩达《机器学习》学习笔记八——逻辑回归（多分类）代码
吴恩达<机器学习>笔记八--逻辑回归(多分类)代码导入模块及加载数据 sigmoid函数与假设函数代价函数梯度下降一对多分类预测验证课程链接:https://www.bilib ...
0.0 Introduction-机器学习笔记-斯坦福吴恩达教授
斯坦福学习笔记本书为斯坦福吴恩达教授的在 coursera 上的机器学习公开课的知识笔记,涵盖了大部分课上涉及到的知识点和内容,因为篇幅有限,部分公式的推导没有记录在案,但推荐大家还是在草稿本上演算 ...

吴恩达教授机器学习课程笔记【八】- Part 8 感知器和大间隔分类器（在线学习感知器算法错分类次数上界及其证明）

吴恩达教授机器学习课程笔记【八】- Part 8 感知器和大间隔分类器（在线学习感知器算法错分类次数上界及其证明）相关推荐

最新文章

热门文章