2.3.1 线性分类

2.3.1.1 线性分类解释

上图图中的权重计算结果结果并不好，权重会给我们的猫图像分配⼀个⾮常低的猫分数。得出的结果偏向于狗。

如果可视化分类，我们为了⽅便，将⼀个图⽚理解成⼀个⼆维的点，在下⾯坐标中显示如下：

解释：w的每⼀⾏都是其中⼀个类的分类器。这些数字的⼏何解释是，当我们改变w的⼀行时，像素空间中相应的线将以不同的⽅向旋转。⽽其中的偏置是为了让我们避免所有的分类器都过原点。
总结：分类器的权重矩阵其实是对应分类的经过训练得到的⼀个分类模板，通过测试数据与分类模板间的数据计算来进⾏分类。在训练的过程中，其实可以看作是权重矩阵的学习过程，也可以看成是分类模板的学习过程，如何从训练样本中学习分类的模板。模板权重的⼤⼩，反映了样本中每个像素点对分类的贡献率。

学习到的权重

2.3.2 损失函数

损失函数是⽤来告诉我们当前分类器性能好坏的评价函数，是⽤于指导分类器权重调整的指导性函数，通过该函数可以知道该如何改进权重系数。CV与深度学习课程之前，⼤家应该都接触过⼀些损失函数了，例如解决⼆分类问题的逻辑回归中⽤到的对数似然损失、SVM中的合⻚损失等等。
对数似然损失

合⻚损失

现在回到前⾯的线性分类例⼦，该函数预测在“猫”、“狗”和“船”类中的分数，我们发现，在这个例⼦中，我们输⼊描绘猫的像素，但是猫的分数与其他类别（狗的分数437.9和船的分数61.95）相⽐⾮常低（-96.8）。那么这个结果并不好，我们将会去衡量这样的⼀个成本，如果分类做好了，这个损失将会减少。
多分类问题的损失该如何去衡量？下⾯会进⾏通常会使⽤的两种⽅式作对⽐，这⾥介绍在图像识别中最常⽤的两个损失——多类别SVM损失（合⻚损失hinge loss）和交叉熵损失，分别对应多类别SVM分类器和Softmax分类器

2.3.2.1 多分类SVM损失

我们正针对于前⾯简化例⼦，来复习理解下SVM损失，下图使我们得到的线性模型预测分数结果

2.2.2.2 Softmax 分类（Multinomial Logistic Regression）与cross-entropy（交叉熵损失）

1、Softmax

2、cross-entropy

2.3.3 SVM与Softmax对比

下面这张图就清楚的展示了两个分类以及其损失计算方式的区别

图像分类_03分类器及损失：线性分类+ SVM损失+Softmax 分类+交叉熵损失相关推荐

神经网络适用于分类问题的最后一层-Softmax和交叉熵损失介绍及梯度推导
前言传统机器学习中两大经典任务就是回归与分类.分类在深度学习中也很常见,令我印象最深的是图像分类.当然,在NLP中,分类也无处不在.从RNN与其变体,到Transformer.Bert等预训练模型, ...
度量学习（Metric learning）—— 基于分类损失函数（softmax、交叉熵、cosface、arcface）
概述首先,我们把loss归为两类:一类是本篇讲述的基于softmax的,一类是基于pair对的(如对比损失.三元损失等). 基于pair对的,参考我的另一篇博客: https://blog.csdn ...
softmax与交叉熵损失
softmax基本形式 softmax是一个将实数域上取值的N维向量转化为[0,1]范围内的函数,常用用于分类问题中,接在神经网络最后一层,将输出值映射到概率区间上,其基本形式如下所示 pi=eai∑ ...
机器学习中的损失函数（交叉熵损失、Hinge loss）
损失函数文章目录损失函数 1 交叉熵损失 1.1 从最大似然估计到交叉熵损失概率论中的MLE 机器学习中的MLE 交叉熵损失 1.2 多分类的交叉熵损失函数 1.3 比较 2. Hinge lo ...
均方误差越大越好_直观理解为什么分类问题用交叉熵损失而不用均方误差损失?...
交叉熵损失与均方误差损失常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比, 一共有\(K\)类,令网络的输出为\([\hat{y}_1,\dots, \hat{y}_K]\), ...
深度学习相关概念：交叉熵损失
深度学习相关概念:交叉熵损失交叉熵损失详解 1.激活函数与损失函数 1.1激活函数: 1.2损失函数: 2.对数损失函数(常用于二分类问题): 3.交叉熵.熵.相对熵三者之间的关系 4.交叉熵损失函 ...
【机器学习】二次损失函数的不足及交叉熵损失softmax详解
二次代价函数的不足: 以sigmoid激活函数为例,由于初始化是随机的,假设目标值为0,第一次随机初始化使得输入为0.82,那么还可以,多次迭代之后可以收敛到0.09,但如果第一次随机初始化到0.98 ...
Softmax函数下的交叉熵损失含义与求导
交叉熵损失函数(CrossEntropy Function)是分类任务中十分常用的损失函数,但若仅仅看它的形式,我们不容易直接靠直觉来感受它的正确性,因此我查阅资料写下本文,以求彻底搞懂. 1.Sof ...
简要介绍 | 交叉熵损失：原理和研究现状
注1:本文系"简要介绍"系列之一,仅从概念上对交叉熵损失进行非常简要的介绍,不适合用于深入和详细的了解. 注2:"简要介绍"系列的所有创作均使用了AIGC工具辅 ...

图像分类_03分类器及损失：线性分类+ SVM损失+Softmax 分类+交叉熵损失