计算机视觉与深度学习第三章：线性分类器
计算机视觉与深度学习
本文按照北京邮电大学计算机学院鲁鹏老师的计算机视觉与深度学习课程按章节进行整理，需要的同学可借此系统学习该课程详尽知识~
第三章 线性分类器
- 计算机视觉与深度学习
- 本节重点
- 一、图像表示
- 二、分类模型
- 1.线性分类器
- 定义
- 决策规则
- 优势
- 矩阵表示
- 2.线性分类器权值向量
- 3.线性分类器决策边界
- 三、损失函数
- 1.损失函数定义
- 2.多类支撑向量机损失
- 定义
- 示例
- 损失函数扩展
- 3.正则项与超参数
- 正则项定义
- 超参数定义
- 示例（引入L2正则项）
- 常用正则项
- 四、优化算法
- 1.参数优化
- 2.算法目标
- 3.相关算法
- 1）梯度下降算法
- 梯度计算
- 算法效率
- 2）随机梯度下降算法
- 3）小批量梯度下降算法
- 训练过程
- 数据集划分
- 数据预处理
本节重点
一、图像表示
图像类型：二进制图像（非黑即白）、灰度图像、彩色图像
大多数分类算法都要求输入向量
二、分类模型
1.线性分类器
定义
线性分类器是一种线性映射，将输入的图像特征映射为类别分数。
决策规则
优势
- 形式简单、易于理解
- 通过层级结构(神经网络)或者高维映射(支撑向量机)可以形成功能强大的非线性模型
矩阵表示
2.线性分类器权值向量
注：
- 权值看做是一种模板
- 输入图像与评估模板的匹配程度越高，分类器输出的分数就越高
3.线性分类器决策边界
给出最优的分类模型，还要损失函数与优化算法的帮忙。
三、损失函数
1.损失函数定义
损失函数搭建了模型性能与模型参数之间的桥梁，指导模型参数优化。
- 损失函数是一个函数，用于度量给定分类器的预测值与真实值的不一致程度，其输出通常是一个非负实值。
- 其输出的非负实值可以作为反馈信号来对分类器参数进行调整，以降低当前示例对应的损失值，提升分类器的分类效果。
2.多类支撑向量机损失
定义
示例
损失函数扩展
问题:假设存在一个W使损失函数L=0，这个W是唯一的吗?
答案：不唯一，因为W:同样有L=0
那么如何在W1和W2之间做出选择? 引入正则项
3.正则项与超参数
正则项定义
超参数定义
示例（引入L2正则项）
常用正则项
四、优化算法
1.参数优化
参数优化是机器学习的核心步骤之一， 它利用损失函数的输出值作为反馈信号来调整分类器参数，以提升分类器对训练样本的预测性能。
2.算法目标
3.相关算法
1）梯度下降算法
梯度计算
求梯度时一般使用解析梯度,而数值梯度主要用于解析梯度的正确性校验(梯度检查)。
算法效率
2）随机梯度下降算法
3）小批量梯度下降算法
训练过程
数据集划分
如果数据很少，那么可能验证集包含的样本就太少，从而无法在统计上代表数据。
数据预处理
附：线性分类器体验
计算机视觉与深度学习第三章：线性分类器相关推荐
- 深度学习 第3章线性分类 实验四 pytorch实现 Logistic回归 上篇
目录: 第3章 线性分类 3.1 基于Logistic回归的二分类任务 3.1.1 数据集构建 3.1.2 模型构建 1. Logistic函数 2. Logistic回归算子 3.1.3 损失函数 ...
- 深度学习 第3章线性分类 实验四 pytorch实现 Softmax回归 鸢尾花分类任务 下篇
目录: 第3章 线性分类 3.3 实践:基于Softmax回归完成鸢尾花分类任务 3.3.1 数据处理 3.3.1.1 数据集介绍 3.3.1.2 数据清洗 1. 缺失值分析 2. 异常值处理 3.3 ...
- 深度学习 第三章 tensorflow手写数字识别
深度学习入门视频-唐宇迪 (笔记加自我整理) 深度学习 第三章 tensorflow手写数字识别 1.tensorflow常见操作 这里使用的是tensorflow1.x版本,tensorflow基本 ...
- 计算机视觉与深度学习第七章：经典网络分析
本文按照北京邮电大学计算机学院鲁鹏老师的计算机视觉与深度学习课程按章节进行整理,需要的同学可借此系统学习该课程详尽知识~ 第七章 经典网络分析 ImageNet大规模视觉识别挑战赛(ILSVRC) 一 ...
- [翻译] 神经网络与深度学习 第三章 提升神经网络学习的效果 - Chapter 3 Improving the way neural networks learn
目录: 首页 译序 关于本书 关于习题和难题 第一章 利用神经网络识别手写数字 第二章 反向传播算法是如何工作的 > 第三章 提升神经网络学习的效果 第四章 可视化地证明神经网络可以计算任何函数 ...
- [学习笔记] python深度学习---第三章 神经网络入门
一.神经网络剖析 1. 训练神经网络主要围绕以下四个方面: (1) 层,多个层组合成网络(或模型). (2)输入数据和相应的目标. (3)损失函数,即用于学习的反馈信号. (4)优化器,决定学习过程如 ...
- 计算机视觉与深度学习第二章：图像分类任务
计算机视觉与深度学习 本文按照北京邮电大学计算机学院鲁鹏老师的计算机视觉与深度学习课程按章节进行整理,需要的同学可借此系统学习该课程详尽知识~ 第二章 图像分类任务 计算机视觉与深度学习 一.什么是图 ...
- 机器人学中的状态估计学习笔记（二）第三章线性高斯系统的状态估计
机器人学中的状态估计学习笔记(二)第三章线性高斯系统的状态估计 3.1 离散时间的批量估计问题 3.1.1 问题定义 3.1.2 最大后验估计 3.1.3 贝叶斯推断 3.1.4 存在性.唯一性与能观 ...
- [翻译] 神经网络与深度学习 第六章 深度学习 - Chapter 6 Deep learning
目录: 首页 译序 关于本书 关于习题和难题 第一章 利用神经网络识别手写数字 第二章 反向传播算法是如何工作的 第三章 提升神经网络学习的效果 第四章 可视化地证明神经网络可以计算任何函数 第五章 ...
最新文章
- 近20个绚丽实用的jQuery/CSS3侧边栏菜单（转载）
- VSFTPD的虚拟用户管理配置
- 解决eclipse修改后台代码ctrl+s总是【自动重启服务器】问题
- python unpack函数_Python numpy.unpackbits函数方法的使用
- Codeforces 814C - An impassioned circulation of affection
- YbtOJ#20237-[冲刺NOIP2020模拟赛Day10]区间均值【树状数组】
- ASP.Net请求处理机制初步探索之旅 - Part 3 管道
- 操作系统之进程管理：15、哲学家进餐问题
- 在ubuntu里烧win10安装盘
- internet download manager补丁_NS《古树旋律》推出免费追加乐曲补丁 含五首新曲！...
- mysql根据外键多条件查询_MySQL练习-主外键多表查询
- 惯量比多少合适_惯量比计算公式
- 数说CS｜北京大学前沿交叉学科研究院大数据研究中心保研生源大起底！
- 笔记本电脑触摸板手势教程——快捷操作
- Chromecast电视投屏软件
- tf.expand_dims函数用法详解（搭配代码理解）
- Unity3D游戏高性能战争迷雾系统实现
- (转)金蝶KIS迷你版、标准版在查询数量金额明细账时提示“发生未知错误，系统当前操作被取消，请与金蝶公司联系”...
- icp经营许可证怎么办？
- supervised domain adaption