【CV-Learning】线性分类器(SVM基础)
数据集介绍(本文所用)
CIFAR10数据集
包含5w张训练样本、1w张测试样本,分为飞机、汽车、鸟、猫、鹿、狗、蛙、马、船、卡车十个类别,图像均为彩色图像,其大小为32*32。
图像类型(像素表示)
二进制(0/1)
灰度图像
一个像素由一个比特(Byte)表示,取值为0-255。
颜色程度:黑(0)---->----->---->白(255)彩色图像
一张图像有红、绿、蓝三个深度,即三个通道。每个通道的一个像素都是由一个比特(Byte)表示,取值为0-255。三个深度的图像结合起来才能表示一张彩色图像。比如:图像的像素为500500,则需要500500*3的矩阵才能表示。
颜色程度:黑(0)---->----->---->红(255)Ps:大多数分类算法都要求输入向量,将图像矩阵转换成向量。
故本文所用数据集的每张图片转换为向量是3072(32323)维列向量。
线性分类器
定义:线性分类器是一种线性映射,将输入的图像特征映射为类别分数。
特点:形式简单,易于理解
拓展:通过层级结构(神经网络)或者高维映射(支撑向量机)可以形成功能强大的非线性模型。在小型样本情况下,常用支撑向量机;在大型样本情况下,常用神经网络。
线性分类器的决策
决策规则:
决策步骤:
- 图像表示成向量
- 计算当前图片每个类别的分数
- 按类别得分判定当前图像
分类器的矩阵表示:
线性分类器的权值向量
线性分类器的决策边界
损失函数
为了找到最优的分类模型,还需要损失函数与优化算法的帮忙。损失函数搭建了模型性能与模型参数(W,b)之间的桥梁,指导模型参数优化。
损失函数定义
损失函数是一个函数,用于度量给定分类器的预测值与真实值的不一致程度,其输出通常是一个非负实值。
其输出的非负实值可以作为反馈信号来对分类器参数进行调整,以降低当前示例对应的损失值,提升分类器的分类效果。
损失值就是模型性能的描述。
多类支撑向量机损失
Ps:限制条件中**+1**是为了减小边界附近噪声的影响
L函数举例说明
计算出多个L后要求取平均值!
问题解答
- 多类支撑向量机损失Li的最大/最小值会是多少?
答:最大值为无穷,最小值为0 - 如果初始化时w和b很小,损失L是多少?
答:此时,Sij和Syi都很小且Sij-Syi约为0。Li和L均等于样本数量减一。该情况可以用于检测算法的正确性。 - 考虑所有类别(包括j=yi), 损失L,对最优参数的选择是否有影响?
答:无影响。 - 在总损失L计算时,如果用求和代替平均,对最优参数的选择是否有影响?
答:无影响。 - 假设存在一个W使损失函数L=0,这个W是唯一的吗?
答:不唯一。
正则项与超参数
什么是正则项损失
防止模型在训练集上学习得太好(过拟合),可以在L上加上一个正则损失,正则项让模型有了偏好,可以在多个损失函数为0的模型参数中选出最优的模型参数,所以损失函数L可以唯一。
L2正则项
什么是超参数
在开始学习过程之前设置值的参数,而不是学习得到。
超参数一般都会对模型性能有着重要的影响。
常用的正则项损失
优化算法
利用损失函数的输出值作为反馈信号来调整分类器参数,以提升分类器对训练样本的预测性能。优化目标是找到使损失函数L达到最优的那组参数W。
梯度下降算法
一种简单高效的迭代优化算法。
- 数值法
计算量大,得到近似值,不准确。
- 解析法
精确值,速度快,但是导数推导容易出错。
问:数值梯度有什么作用?
求梯度时一般使用解析梯度,而数值梯度主要用于解析梯度的正确性校验(梯度检查)。
计算效率
- 梯度下降
当N很大时,每次计算权值梯度的计算量很大,耗时长,效率低下。 - 随机梯度下降
单个样本的训练可能会带来很多噪声,虽然不是每次迭代都朝着整体最优方向,但是大量迭代体现规律会使整体向最优方向走。 - 小批量梯度下降
在论文中,一般用epoch描述迭代样本情况。
1个epoch需要N/m次迭代,N是样本总数,m是批量大小。
训练过程
数据集划分
数据集=训练集+验证集+测试集
训练集:用于给定的超参数时分类器参数的学习。
验证集:用于选择超参数。
测试集:评估泛化能力。
问:当数据很少,那么可能的验证集包含的样本就很少,从而无法在统计意义上代表数据。此时我们可以提出使用交叉验证的方法。
K折交叉验证
为了使随机性更好,我们可以在每次分折的时候进行数据打乱,这样得到的最终平均分更好,这种方法叫做带有打乱数据的重复K折验证。
数据预处理
- 去均值
x=x-均值;可以减小数据的浮动范围,突出相对差别。 - 归一化
x=(x-均值)/方差;去除量纲的影响。
- 去相关性
有时候要只单独讨论x或只单独讨论y,就需要去掉x,y的相关性,x变化,y不会随着变化;让数据独立出来,达到降维的效果。 - 白化
在去相关性的基础上进行归一化操作。
北京邮电大学–鲁鹏–计算机视觉与深度学习
【CV-Learning】线性分类器(SVM基础)相关推荐
- SVM中的线性分类器
线性分类器: 首先给出一个非常非常简单的分类问题(线性可分),我们要用一条直线,将下图中黑色的点和白色的点分开,很显然,图上的这条直线就是我们要求的直线之一(可以有无数条这样的直线) 假如说, ...
- 高效计算基础与线性分类器
高效计算基础与线性分类器 标签: 深度学习线性分类器 2016-06-29 16:01 131人阅读 评论(0) 收藏 举报 本文章已收录于: 分类: 深度学习笔记(1) 作者同类文章X 版权声明:本 ...
- 2. SVM线性分类器
在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.用一个二维空间里仅有两类样本的分类问题来举个小例子.如图所示 和是要区分的两个类别,在二维平面中它们的样本如上图所示.中间的直 ...
- 【机器学习】SVM学习(三):线性分类器的求解
[机器学习]SVM学习(三):线性分类器的求解 2016-10-10 19:56 239人阅读 评论(0) 收藏 举报 本文章已收录于: 机器学习知识库 分类: 机器学习(37) 目录(?)[+ ...
- SVM学习(三):线性分类器的求解
1.问题的描述 上节说到我们有了一个线性分类函数,也有了判断解优劣的标准--即有了优化的目标,这个目标就是最大化几何间隔,但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样 ...
- [深度学习基础] 2. 线性分类器
本文将以 softmax 线性分类器为例, 讨论数据驱动过程的各组成部分. 同时本章是后文非线性分类器和深度学习的铺垫. 1 训练数据 给定由 m 张图像组成的训练集, 每个图像的标记是 K 个不同类 ...
- 线性分类器:感知器/SVM
线性可分 存在一个超平面,可以将数据集的正负例完全正确地划分至超平面两侧.如:左图中的数据是线性可分,而右图不是. 线性模型形式 是x在第i个特征的取值. 反映了第i个特征的重要程度.如 可看 ...
- CS231n 学习笔记(2)——神经网络 part2 :线性分类器,SVM
*此系列为斯坦福李飞飞团队的系列公开课"cs231n convolutional neural network for visual recognition "的学习笔记.本文主要 ...
- 图像的线性分类器(感知机、SVM、Softmax)
本文主要内容为 CS231n 课程的学习笔记,主要参考 学习视频 和对应的 课程笔记翻译 ,感谢各位前辈对于深度学习的辛苦付出.在这里我主要记录下自己觉得重要的内容以及一些相关的想法,希望能与大家 ...
- 从线性分类器到卷积神经网络
从线性分类器到卷积神经网络 前言 本文大致分成两大部分,第一部分尝试将本文涉及的分类器统一到神经元类模型中,第二部分阐述卷积神经网络(CNN)的发展简述和目前的相关工作. 本文涉及的分类器(分类方法) ...
最新文章
- Windows搭建golang开发平台
- 终于!《iOS 全埋点解决方案》正式出版
- 制作css开关,纯css实现开关效果
- 李开复:人工智能行业发展与投资趋势
- FJ的字符串java问题_蓝桥杯VIP试题 之 基础练习 FJ的字符串- JAVA
- 推荐!可视化垃圾回收算法(转)
- java持久层框架mybatis如何防止sql注入
- mybatis加载xml配置文件
- 控制终端, 用户登录、mail、hostname、随机数 (笔记)
- centos7 单机安装 greenplum6
- PPT之背景与标题搭配
- mac系统下修改usr/bin文件夹权限问题
- Python案例1—人民币与美元的汇率兑换V_6.0
- 计算机硬盘灯不亮,解决办法:如果计算机硬盘驱动器指示灯不亮,该怎么办?解决电脑硬盘指示灯不亮的问题_IT / computer_资料...
- 怎样通过穴位按摩来减轻脚踝扭伤的疼痛
- 谈判技巧——执行合同
- 证件识别、驾驶证识别技术
- 行之有效:第一章观后有感
- 电视盒子安装CUPS共享惠普1020为无线网络打印机【新版】
- mysql积累——长期更新
热门文章
- 1 搭建Flash游戏开发环境
- 金融计算器 android,TVM金融计算器
- BT5R3安装及汉化
- PDF怎么转换成CAD?教你几步轻松掌握
- 轻巧和实用并存——360安全卫士极速版试用报告
- ubuntu18.04 安装RabbitVCS
- aria2最新tracker服务器,【无灯+Hiboy】padavan下自动更新aria2的BT tracker 服务器列表...
- 转载-【常用RGB颜色查询对照表及感情色】
- Text Scanner for Mac(超快速ocr文字识别软件)
- 转正述职报告 实习转正 工作汇报 述职模板免费下载_PPTX图片设计素材_包图网888pic.com...