【机器学习】机器学习基石-林轩田-2-Learning to Answer Yes_No
机器学习基石-林轩田-2-Learning to Answer Yes_No
- 本节内容
- 引例
- A Simple Hypothesis Set: Perceptron
- Perceptron Learning Algorithm(PLA - Select g from H)
- 1 模型
- 2 损失函数(Loss)/参数优化
- PLA的优化过程
- 为什么决策边界方向和权重向量方向垂直?
- Some Remaining Issues of PLA
- 线性可分PLA:算法是否会停下来?
- 线性可分PLA:算法何时停下来?
- 线性不可分PLA:Pocket Algorithm
本节内容
上节课,我们主要简述了机器学习的定义及其重要性,并用流程图的形式介绍了机器学习的整个过程:根据模型H,使用演算法A,在训练样本D上进行训练,得到最好的h,其对应的g就是我们最后需要的机器学习的模型函数,一般g接近于目标函数f。本节课将继续深入探讨机器学习问题,介绍感知机Perceptron模型,并推导课程的第一个机器学习算法:Perceptron Learning Algorithm(PLA)。
A Simple Hypothesis Set: Perceptron:一种简单的假设集H:感知机。
引例银行卡分发信用卡的例子中,感知机就是分类器,相当于平面上的很多条线。
Perceptron Learning Algorithm(PLA - Select g from H)
如何从平面上的很多条线中,选出一条最优的,使得能够对用户是否发放信用卡进行很好的判断。
引例
引入这样一个例子:某银行要根据用户的年龄、性别、年收入等情况来判断是否给该用户发信用卡。现在有训练样本D,即之前用户的信息和是否发了信用卡。这是一个典型的机器学习问题,我们要根据D,通过A,在H中选择最好的h,得到g,接近目标函数f,也就是根据先验知识建立是否给用户发信用卡的模型。银行用这个模型对以后用户进行判断:发信用卡(+1),不发信用卡(-1)。
A Simple Hypothesis Set: Perceptron
在这个机器学习的整个流程中,有一个部分非常重要:就是模型选择,即Hypothesis Set。选择什么样的模型,很大程度上会影响机器学习的效果和表现。下面介绍一个简单常用的Hypothesis Set:感知机(Perceptron)。
还是刚才银行是否给用户发信用卡的例子,我们把用户的个人信息作为特征向量x,令总共有d个特征,每个特征赋予不同的权重w,表示该特征对输出(是否发信用卡)的影响有多大。那所有特征的加权和的值与一个设定的阈值threshold进行比较:大于这个阈值,输出为+1,即发信用卡;小于这个阈值,输出为-1,即不发信用卡。感知机模型,就是当特征加权和与阈值的差大于或等于0,则输出h(x)=1;当特征加权和与阈值的差小于0,则输出h(x)=-1,而我们的目的就是计算出所有权值w和阈值threshold。
那么,我们所说的Perceptron,在这个模型上就是一条直线,称之为linear(binary) classifiers。注意一下,感知器线性分类不限定在二维空间中,在3D中,线性分类用平面表示,在更高维度中,线性分类用超平面表示,即只要是形如 的线性模型就都属于 linear(binary) classifiers。
同时,需要注意的是,这里所说的 linear(binary) classifiers 是用简单的感知器模型建立的,线性分类问题还可以使用 logistic regression 来解决,后面将会介绍。
Perceptron Learning Algorithm(PLA - Select g from H)
根据上一部分的介绍,我们已经知道了hypothesis set由许多条直线构成。接下来,我们的目的就是如何设计一个演算法A,来选择一个最好的直线,能将平面上所有的正类和负类完全分开,也就是找到最好的g,使g≈f。
如何找到这样一条最好的直线呢?考虑到平面上有无穷多的线(即H is of infinite size),不可能一条条的测试。所以,我们可以使用逐点修正的思想,首先在平面上随意取一条直线g0g_0g0,看看哪些点分类错误。然后开始对第一个错误点进行修正,即变换直线的位置,使这个错误点变成分类正确的点。接着,再对第二个、第三个等所有的错误分类点进行直线纠正,直到所有的点都完全分类正确了,就得到了最好的直线。这种“逐步修正”,就是PLA思想所在。
1 模型
从数学本质上来看,模型将Weight Vector与Feature Vector作内积,而内积一定程度上可以刻画两个向量之间的相似度,所以可以认为Weight Vector就是模型所学习到的模式或者称为特征。
从模型数学公式可看出,PLA本身仅仅为权重与输入的线性运算,故其本身是一个线性二分类模型,只能解决比较简单的线性二分类问题。但可以将多个学习到的感知机模型重叠在一起形成多分类模型。
2 损失函数(Loss)/参数优化
下面介绍一下PLA是怎么做的。首先随机选择一条直线进行分类。然后找到第一个分类错误的点,如果这个点表示正类,被误分为负类, 即wtTxn(t)<0w_t^Tx_{n(t)}\lt 0wtTxn(t)<0,那表示w和x夹角大于90度,其中w是直线的法向量。所以,x被误分在直线的下侧(相对于法向量,法向量的方向即为fl类所在的一侧),修正的方法就是使w和x夹角小于90度。通常做法是w←w+yx,y=1w \leftarrow w+yx, y=1w←w+yx,y=1,如图右上角所示,一次或多次更新后的w+yxw+yxw+yx与x夹角小于90度,能保证x位于直线的上侧,则对误分为负类的错误点完成了直线修正。
同理,如果是误分为正类的点,即wtTxn(t)>0w_t^Tx_{n(t)}\gt 0wtTxn(t)>0,那表示w和x夹角小于90 度,其中w是直线的法向量。所以,x被误分在直线的上侧,修正的方法就是使w和x夹角大于90度。通常做法是w←w+yx,y=−1w \leftarrow w+yx, y=-1w←w+yx,y=−1,如图右下角所示,一次或多次更新后的w+yxw+yxw+yx与x夹角大于90度,能保证x位于直线的下侧,则对误分为正类的错误点也完成了直线修正。
按照这种思想,遇到个错误点就进行修正,不断迭代。要注意一点: 每次修正直线,可能使之前分类正确的点变成错误点,这是可能发生的。但是没关系,不断迭代,不断修正,最终会将所有点完全正确分类(PLA前提是线性可分的)。这种做法的思想是“知错能改”,有句话形容它:“A fault confessed is half redressed.”
实际操作中,可以一个点一个点地遍历,发现分类错误的点就进行修正,直到所有点全部分类正确。这种被称为Cyclic PLA。
PLA的优化过程
为什么决策边界方向和权重向量方向垂直?
Some Remaining Issues of PLA
对PLA,我们需要考虑以下两个问题:
PLA迭代一定会停下来吗?如果线性不可分怎么办?
PLA停下来的时候,是否能保证g≈fg\approx fg≈f?如果没有停下来,是否有g≈fg\approx fg≈f?
线性可分PLA:算法是否会停下来?
PLA什么时候会停下来呢?根据PLA的定义,当找到一条直线,能将所有平面上的点都分类正确,那么PLA就停止了。要达到这个终止条件,就必须保证D是线性可分(linear separable)。如果是非线性可分的,那么,PLA就不会停止。
对于线性可分的情况,如果有这样一条直线,能够将正类和负类完全分开,令这时候的目标权重为wf,则对每个点必然满足:
线性可分PLA:算法何时停下来?
迭代次数T最大为1/constant^2。
线性不可分PLA:Pocket Algorithm
线性不可分 Non-Separable Data
上一部分,我们证明了线性可分的情况下,PLA是可以停下来并正确分类的,但对于非线性可分的情况, wfw_fwf实际上并不存在,那么之前的推导并不成立,PLA不一定会停下来。所以,PLA虽然实现简单,但也有缺点:
对于非线性可分的情况,我们可以把它当成是数据集D中掺杂了一下noise,事实上,大多数情况下我们遇到的D,都或多或少地掺杂了noise。这时,机器学习流程是这样的:
在非线性情况下,我们可以把条件放松,即不苛求每个点都分类正确,而是容忍有错误点,取错误点的个数最少时的权重w:
事实证明,上面的解是NP-hard问题,难以求解。然而,我们可以对在线性可分类型中表现很好的PLA做个修改,把它应用到非线性可分类型中,获得近似最好的g。
修改后的PLA称为Packet Algorithm。它的算法流程与PLA基本类似,首先初始化权重 ,计算出在这条初始化的直线中,分类错误点的个数。然后对错误点进行修正,更新w,得到一条新的直线,在计算其对应的分类错误的点的个数,并与之前错误点个数比较,取个数较小的直线作为我们当前选择的分类直线。之后,再经过n次迭代,不断比较当前分类错误点个数与之前最少的错误点个数比较,选择最小的值保存。直到迭代次数完成后,选取个数最少的直线对应的w,即为我们最终想要得到的权重值。
由上面的步骤可以看到,由于不知道什么时候循环应该停下来,所以需要人为定义一个最大的循环次数来作为退出条件,所以口袋算法相对感知器学习算法来说,运行时间会更慢一些。在循环中是随机选取错误点,最后的输出结果在每次运行时也不是一个稳定的结果。
如何判断数据集D是不是线性可分?对于二维数据来说,通常还是通过肉眼观察来判断的。
一般情况下,Pocket Algorithm要比PLA速度慢一些,有两个原因:
一是因为要存储当前分类最少错误点个数的线。
二是因为Pocket Algorithm需要将所有的训练集样本都学习一遍,才能知道哪条线分类错误点个数最少。
【机器学习】机器学习基石-林轩田-2-Learning to Answer Yes_No相关推荐
- 机器学习 | 台大林轩田机器学习基石课程笔记3 --- Types of Learning
课程主页 课程视频和PPT 上节课我们主要介绍了解决线性分类问题的一个简单的方法:PLA.PLA能够在平面中选择一条直线将样本数据完全正确分类(前提数据是线性可分的,在高维空间中,可以用一个超平面完全 ...
- 机器学习基石-林轩田 Lecture 3:Types of Learning
复习 这个是是非题(其实就是一个二元分类器) 信用卡的是否分发. 电子邮件是否是垃圾邮件 病人是否生病 广告是否会赚钱 这个学生是否能够答对这一题 机器学习种类 多类机器学习 把你投入的硬币分类(1c ...
- 机器学习 | 台大林轩田机器学习基石课程笔记12 --- Nonlinear Transformation
课程主页 课程视频和PPT 上一节课,我们介绍了分类问题的三种线性模型,可以用来解决binary classification和multiclass classification问题.本节课主要介绍非 ...
- 林轩田机器学习基石(Machine Learning Foundations)笔记(一)
要求两周之内看完林轩田机器学习基石和技法,速度是要的,但是感觉看得太快我会不久就会忘记.因此记录一下梗概,顺便写写看视频时解决的不懂的地方(有种思想就是把知识传播给更多人,有时候就是靠大佬们善意的一句 ...
- 台大林轩田《机器学习基石》系列课程教材的习题更新完毕了
台湾大学林轩田老师的<机器学习基石>.<机器学习技法>课程由浅入深.内容全面,基本涵盖了机器学习领域的很多方面.其作为机器学习的入门和进阶资料非常适合.本站实现了课程教材的绝大 ...
- 台湾大学林轩田机器学习基石课程学习笔记1 -- The Learning Problem
红色石头的个人网站:redstonewill.com 最近在看NTU林轩田的<机器学习基石>课程,个人感觉讲的非常好.整个基石课程分成四个部分: When Can Machine Lear ...
- 台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了解决线性分类问题的一个简单的方法:PLA.PLA能够在平面中选择一条直线将样本数据完全正确分类.而对于线性不可分的情况,可以使 ...
- 台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
红色石头的个人网站:redstonewill.com 上节课,我们主要简述了机器学习的定义及其重要性,并用流程图的形式介绍了机器学习的整个过程:根据模型H,使用演算法A,在训练样本D上进行训练,得到最 ...
- 台大林轩田机器学习基石学习笔记(一):The Learning Problem
这里写自定义目录标题 写在前面 一.What is Machine Learning 二.Applications of Machine Learning 三.Components of Machin ...
最新文章
- html标记汇总,HTML标记语法汇总.doc
- 【目标检测】(8) ASPP改进加强特征提取模块,附Tensorflow完整代码
- GitHub 中文文档正式发布
- 线阵相机和面阵相机的区别及应用
- ie 打开后端发过来的pdf_某办公软件PDF阅读器漏洞挖掘及Crash分析
- 更改图片位置_如何轻松快速地将图片转换到JPG/JPEG/PNG/BMP/TIFF
- 4路电话光端机概述及产品特性详解
- 可解释性与deep learning的发展
- PHP 发送GET 和 POST数据的方法分析
- UNIX 环境高级编程(四)—— dirent.h
- 考研高数——书本资料选择复习规划
- JS实现将数字金额转换为大写人民币汉字的方法
- 联邦学习:加密算法Paillier,Affine,IterativeAffine
- 尹语堂®公益20210906
- Python画四张子图-导入数据
- win10 + Ubuntu 20.04 LTS 双系统 引导界面美化
- vue文件下载及重命名
- 【无人机】【2014.08】无人机国家的诞生:自1917年以来的美国无人机发展
- 重磅推荐,国内国外优秀的素材资源网站
- 深度知识追踪(Deep Knowledge Tracing)·论文学习归纳
热门文章
- ArcMap2Sld:一个将MXD中图层配图样式转换为OGC的SLD文件的开源工具
- dreamspark 注册,免费微软序列号授权,wp7 app hub微软手机开发者帐号
- VC++6.0 MFC COleDateTime 格式化
- linux国产操作系统下载网站,三分钟快速安装国产操作系统Ylmf OS
- BigTable论文分析
- 医咖会免费STATA教程学习笔记—如何安装新命令
- error LNK1104: 无法打开文件“libboost_date_time-vc120-mt-sgd-1_64.lib”
- AOP 关于面向切面编程实现权限访问功能
- 魔乐科技安卓开发教程----李兴华----19 传感器
- 机器学习--决策树python实现案例