评估指标与评分

到目前为止，我们使用精度（正确分类的样本所占的比例）来评估分类性能，使用 R² 来评估回归性能。但是，总结监督模型在给定数据集上的表现有多种方法，这两个指标只是其中两种。在实践中，这些评估指标可能不适用于你的应用。在选择模型与调参时，选择正确的指标是很重要的。

1、牢记最终目标

在选择指标时，你应该始终牢记机器学习应用的最终目标。在实践中，我们通常不仅对精确的预测感兴趣，还希望将这些预测结果用于更大的决策过程。在选择机器学习指标之前，你应该考虑应用的高级目标，这通常被称为商业指标（business metric）。对于一个机器学习应用，选择特定算法的结果被称为商业影响（business impact）。高级目标可能是避免交通事故或者减少入院人数，也可能是吸引更多的网站用户或者让用户在你的商店中花更多的钱。在选择模型或调参时，你应该选择对商业指标具有最大正面影响的模型或参数值。这通常是很难的，因为要想评估某个模型的商业影响，可能需要将它放在真实的生产环境中。

在开发的初期阶段调参，仅为了测试就将模型投入生产环境往往是不可行的，因为可能涉及很高的商业风险或个人风险。想象一下，为了测试无人驾驶汽车的行人避让能力，没有事先验证就让它直接上路。如果模型很糟糕的话，行人就会遇到麻烦！因此，我们通常需要找到某种替代的评估程序，使用一种更容

机器学习笔记之——模型评估与改进之评估指标与评分相关推荐

机器学习笔记(二)模型评估与选择
2.模型评估与选择 2.1经验误差和过拟合不同学习算法及其不同参数产生的不同模型,涉及到模型选择的问题,关系到两个指标性,就是经验误差和过拟合. 1)经验误差错误率(errorrate):分类错误 ...
【机器学习笔记】模型评估：查准率、查全率和F1
前言错误率与精度经常用来衡量一个模型的好坏,但这两项指标并不能满足所有的需求.以西瓜书中的例子来说,农夫拉来一车西瓜,错误率可以衡量出有多少比例的瓜被判别错误,而我们关心的是好瓜,或说好瓜中有多少比 ...
机器学习笔记--GMM模型
1. 高斯分布的一些结论: 利用似然估计对一组符合高斯分布的数据进行分析,得到其均值的估计就是样本的均值,方差的估计就是样本方差. 具体推导如下高斯分布的概率密度函数为 , 对一组符合高斯分布的样本 ...
解读：机器学习预测收益模型应该采取哪种度量指标
写在前面下面这篇文章的内容主要是来自发表于Expert Systems with Applications 的一篇文章<Machine learning models predicting r ...
机器学习笔记三—卷积神经网络与循环神经网络
系列文章目录机器学习笔记一-机器学习基本知识机器学习笔记二-梯度下降和反向传播机器学习笔记三-卷积神经网络与循环神经网络机器学习笔记四-机器学习可解释性机器学习笔记五-机器学习攻击与防御机 ...
【机器学习笔记14】softmax多分类模型【下篇】从零开始自己实现softmax多分类器（含具体代码与示例数据集）
文章目录推荐阅读前言关于代码第一部分 Softmax分类器相关公式与步骤相关公式梯度下降步骤数据集获取从零开始实现softmax多分类器导入数据初始框架 step1:将label向 ...
[KO机器学习] Day 7 模型评估：评估指标的局限性
"没有测量,就没有科学.." 这是科学家门捷列夫的名言.在计算机科学特别是机器学习领域中,对模型的评估同样至关重要.只有选择与问题相匹配的评估方法,才能快速地发现模型选择或训练过程 ...
python网格搜索核函数_机器学习笔记——模型调参利器 GridSearchCV（网格搜索）参数的说明...
算法数据结构机器学习笔记--模型调参利器 GridSearchCV(网格搜索)参数的说明 GridSearchCV,它存在的意义就是自动调参,只要把参数输进去,就能给出最优化的结果和参数.但是这个 ...
机器学习笔记之深度信念网络(二)模型构建思想(RBM叠加结构)
机器学习笔记之深度信念网络--模型构建思想引言回顾:深度信念网络的结构表示解析RBM隐变量的先验概率通过模型学习隐变量的先验概率小插曲:杰森不等式(2023/1/11) 杰森不等式的数学证明 ...

机器学习笔记之——模型评估与改进之评估指标与评分

评估指标与评分

1、牢记最终目标

机器学习笔记之——模型评估与改进之评估指标与评分相关推荐

最新文章

热门文章