第一章 模式识别基本概念
知识点梳理
1.1 模式识别的基本概念
模式识别的应用实例:字符识别,动作识别,目标抓取等。
模式识别概念:根据已有知识的表达,针对待识别模式,判别决策其所属的类别或者预测其对应的回归值。
模式识别划分为"分类"和"回归"两种形式。分类:输出量是离散类别表达,即模式所属的类别。回归:输出量是连续的信号表达(回归值)。
1.2 模式识别的数学表达
模型:关于已有知识的表达。
特征提取:从原始输入数据提取更有效的信息。
回归器:将特征映射到回归值。
判别函数:sign函数(用于二类分类),max函数(多类分类)。
特征:可以用于区分不同类别模式的、可测量的量。具有辨别能力和鲁棒性。
特征向量:多个特征构成的列向量。空间中每个点代表一个样本,从坐标原点到该样本之间的向量即为该样本的特征向量。
1.3 特征向量的相关性
特征向量点积(结果是标量):点积表征两个特征向量的共线性,即方向上的相似程度。点积为0时说明两个向量是正交的。
向量的夹角:反映两个向量在方向上的差异性。
向量的投影:向量x分解到向量y方向的程度,分解的越多,说明两个向量方向上越相似。
残差向量:向量x分解到向量y方向上得到的投影向量与原向量x的误差。
欧式距离:直观上来说就是两个点之间的距离。用来表征两个向量之间的相似程度(综合考虑方向和模长)。
1.4 机器学习的基本概念
机器学习解决了模型如何得到的问题。模型又分为了线性模型和非线性模型。
机器学习流程图:获得训练样本,确定目标函数,通过优化算法以目标函数为标准获得模型参数的最优解。
机器学习的方式有监督式学习,无监督式学习,半监督式学习和强化学习。
监督式学习:训练样本及其输出真值都给定情况下的机器学习算法。通常使用最小化训练误差作为目标函数进行优化。
无监督式学习:只给定训练样本,没有给出输出真值情况下的机器学习算法。难度远高于监督式学习,主要根据训练样本之间的相似程度来进行决策。
半监督式学习:既有标注的训练样本、又有未标注的训练样本的情况下的学习算法。可视为有约束条件的无监督式学习。
强化学习:机器自行探索决策、真值滞后反馈的过程。有名的Alpha go就是用强化学习来训练的。
1.5 模型的泛化能力
训练集:模型训练所用的样本数据。每个样本称为训练样本。
测试集:测试模型性能所用的样本数据。每个样本称为测试样本。测试集与训练集是互斥的。
误差:模型给出的决策输出与真值输出之间的差异。分为训练误差与测试误差,训练误差即模型在训练集上的误差,测试误差在测试集上的误差,也被称为泛化误差。
泛化能力:训练得到的模型不仅要对训练样本具有决策能力,也要对新的样本有决策能力。
过拟合:模型过于拟合训练数据导致在测试阶段表现很差。
提高泛化能力的方法:1.选择复杂度合适的模型,2.正则化:在目标函数中加入正则项。通过调节正则系数,降低过拟合的程度。
1.6 评估方法和性能指标
评估方法:留出法,k折交叉验证,留一验证。
留出法:随机划分数据集为训练集和测试集,用训练集训练模型,测试集评估量化指标。为避免随机性,该过程进行若干次,量化指标取平均值。
k折交叉验证:将数据集分割为k个子集,选取单个子集作为测试集,剩下的为训练集。重复k次,保证每个子集都被作为一次测试集,对k次的量化指标取平均值。
留一验证:每次只去数据集中的一个样本做测试集,剩余的做训练集。每个样本测试一次,对n次的量化指标取平均值。留一验证即为k=n时的k折交叉验证。
性能指标:准确度,精度,召回率,F-Score,混淆矩阵,曲线度量,AUC。
准确度:(TN+TP)/N
精度:TP/(TP+FP) 召回率:TP/(TP+FN)
F-Sore:综合了精度和召回率。
混淆矩阵:矩阵的列表示预测值,行表示真值。矩阵的每个元素的值是根据每个测试样本的预测值和真值得到的计数统计值。对角线元素值越大模型性能越好。
曲线度量:设置若干个关于输出值的阈值,不同的阈值可以代表不同的应用任务,得到多个评估值,从而可以在空间中画出一条曲线。有PR曲线和ROC曲线。
AUC:即曲线下方面积,将曲线度量所表达的信息浓缩到一个标量表达。以0.5为阈值,AUC<0.5时说明比随机猜测还差。
第一章 模式识别基本概念相关推荐
- JavaWeb --第一章Web基本概念
JavaWeb --第一章Web基本概念 文章目录 基本概念 前言 web开发: web应用程序 静态web 动态web web服务器 技术讲解 web服务器 基本概念 前言 web开发: web,网 ...
- 20190813 On Java8 第一章 对象的概念
第一章 对象的概念 抽象 Alan Kay 总结了对象的五大基本特征 万物皆对象. 程序是一组对象,通过消息传递来告知彼此该做什么. 每个对象都有自己的存储空间,可容纳其他对象. 每个对象都有一种类型 ...
- 第一章图像处理基础概念(人眼和光)
系列文章目录 第一章 图像处理基础概念 第二章 常见算法处理 第三章 灰度变化 第四章 空间滤波 第五章 频域滤波 第六章 色彩基础 第七章 小波和多分辨率 第八章 图像表示和描述 第九章 形态学图像 ...
- 【正点原子Linux连载】第一章 应用编程概念-摘自【正点原子】I.MX6U嵌入式Linux C应用编程指南V1.1
1)实验平台:正点原子阿尔法Linux开发板 2)平台购买地址:https://item.taobao.com/item.htm?id=603672744434 2)全套实验源码+手册+视频下载地址: ...
- 项目管理---第一章 项目管理的概念
文章目录 第一章 项目管理的概念 一.项目与软件项目 二.项目管理与软件项目管理 三.项目管理知识体系 四.过程管理与软件项目管理的关系 五.软件项目管理过程 六.管理涉及的范围 第一章 项目管理的概 ...
- 第一章 数据库基本概念
看到米老师在博客里留言说我没有知识网的概念让我去找他,真的就像莫文蔚那首歌的歌词"忽然之间,天昏地暗"的感觉.马上自己就又看了看写的那篇数据库的博客,又找了几篇其他同学的对比了一下 ...
- Pytorch基础学习(第一章-PyTorch基础概念)
课程一览表: 目录 一..pytorch简介 二.环境配置 1.pycharm 2.annaconda 3.安装pytorch 三.张量简介与创建 1.张量的概念 2.Tensor--直接创建 3. ...
- 第一章--数据库系统基本概念(一)
一.四个基本概念 (一)数据 数据(Data)是数据库中存储的基本对象,其含义成为数据的语义 (二)数据库 数据库(Database)是长期储存在计算机内,有组织的,可共享的大量数据集合 数据库的特征 ...
- 第一章——概率论基本概念
概率论基本概念 结合书本以及宋浩老师在B站的视频写的笔记 随机事件 随机试验的三个特点 在相同条件可重复 结果不止一个,并且实现可以明确试验所有出现的结果 无法预测 事件 基本事件: 相对于实验目的, ...
- 第一章 概率论基本概念(a)
1. 随机实验 随机实验满足如下条件: 可以重复的进行实验(重复). 每次实验结果不止一个,且知道实验的所有可能结果(已知). 实验之前不能确定实验结果到底会出现所有结果中的哪一种情况(未知). 满足 ...
最新文章
- JAVA:this的使用
- 为Jersey 2.19创建共享库以与Weblogic 12.1.3一起使用
- Android之智能问答机器人
- linux命令 查找包含指定字符串的文件
- jQuery源码解析之offset()
- 如何在SQL Server Reporting Services中自动创建KPI
- Gridview模板中提供的删除功能
- Android开发学习之QQ好友列表的实现
- 浅析B/S架构数据库连接方式
- iOS底层探索之类的结构—cache分析(上)
- Python抽象类(abc模块)
- 显卡的优化以提高计算机性能作用,显卡优化,详细教您如何设置NVIDIA(英伟达)显卡玩游戏性能更高...
- 航芯技术分享 | 了解汽车上的OBD
- 服务器和PC Server介绍
- JavaScript异步与同步解析
- 假设检验中原假设和备择假设的选取问题
- 关于Topic设计的思考
- iOS 事件分类及事件分发机制
- C++实现U盘小偷(超详细版)
- 最详细的php使用com读取word文件,并且解决读取过程中乱码问题,doc/docx都适用,适用于thinkphp,laravel应该也可以
热门文章
- 用计算机弹苹果手机铃声,苹果手机如何设置铃声
- 互联网性能监测方法及工具
- 计算机word文档工作区名称,word文档界面名称 word文档的界面组成
- 计算机考研除了专业课还要学什么时候,计算机考研专业课什么时候开始看
- 陀螺仪、加速计、磁力计
- cesium显示帧率FPS控件
- python爬取去哪儿网机票_去哪儿网机票爬虫
- tensorflow安装
- rtl驱动 ubuntu 禁用_Ubuntu下成功安装台式机网卡realtek的rtl8188eu芯片驱动并实现AP功能...
- 微信个人号有哪些好玩的自动回复?自动回复话术分享