MLY -- 8.Establish a single-number evaluation metric for your team to optimize

分类准确率(classification accuracy)是一个单数值的评价度量：将开发集（或测试集）输入分类器分类，分类器返回“被分类器正确分类的数据占输入数据集的比例”。如果分类器A获得97%的准确率，分类器B获得90%的准确率费，根据评价度量，分类器A较好。

与此不同的是，精度率和召回率（precision and recall）就不是一个单数值评价度量：它用两个数值去评价分类器。多数值评价度量使得比较分类算法时变得困难。假设你的分类算法表现如下：

classifier	precision	recall
A	95%	90%
B	98%	85%

这里，并不能直接看出两个分类器中哪个更好。

在实际开发过程中，你的团队将用不同的算法框架、模型参数、特征选择等。而使用单数值评价度量（如准确率）能快速地对这些算法的优劣做一个排序，从而看出哪一个算法更好。

如果你真的关心精确率和召回率，我建议你使用一种标准的方法将两种评价数值糅合成一个。例如，可取精确率和召回率的平均值作为评价数值；还可以取“F1 score”，F1 score是计算平均值的一种改进的方法，比取平均值的表现好多了。

classifier	precision	recall	F1 score
A	95%	90%	92.4%
B	98%	85%	91.0%

单数值评价度量能让你从众多算法中快速选出哪个算法最优，它对众多算法进行偏好排序，因而明确了进展的方向。

最后，假设你分别在四个主要市场（(i)US,(ii)China,(iii)India,(iv)其他）跟踪你的猫分类器准确率，因此你得到四个度量。对这四个度量取平均或加权平均值，你就会得到一个评价数值。取平均或加权平均是将多个度量变成一个的最常用的方法。

注释：

精确率和召回率：以猫图片分类器为例，精确率是指在分类器分类成猫的图片中，真的是猫图片的比例。召回率是指在开发集（或测试集）中的猫图片被分类器分类成猫图片的概率。在高准确率和高召回率间，经常需要权衡（tradeoff）。
F1 score：如果你想了解更多，可以点击 https://en.wikipedia.org/wiki/F1_score。F1 score就是精确率和召回率的几何平均值，是这样计算的 2/((1/precision)+(1/recall))。

MLY -- 8.Establish a single-number evaluation metric for your team to optimize相关推荐

LeetCode 137. Single Number II--三次异或消除相同的数--C++,Python解法
题目地址:Single Number II - LeetCode Given a non-empty array of integers, every element appears three ti ...
Single Number II（LintCode）
Single Number II Given 3*n + 1 numbers, every numbers occurs triple times except one, find it. Examp ...
leetcode Single Number python
Single Number Given an array of integers, every element appears twice except for one. Find that sing ...
分类模型的性能评价指标（Classification Model Performance Evaluation Metric）
二分类模型的预测结果分为四种情况(正类为1,反类为0): TP(True Positive):预测为正类,且预测正确(真实为1,预测也为1) FP(False Positive):预测为正类,但预测错 ...
[LintCode] Single Number 单独的数字
Given 2*n + 1 numbers, every numbers occurs twice except one, find it. Have you met this question in ...
leetcode -day8 Copy List with Random Pointer Single Number I II
五一中间断了几天,开始继续... 1. Copy List with Random Pointer A linked list is given such that each node cont ...
Leetcode 137. Single Number II JAVA语言
1 2 3 Given an array of integers, every element appears three times except for one, which appears ex ...
[LeetCode]Single Number II
今天室友推荐了一道LeetCode上面的练习题Single Number II,题目大概的意思是有一个整形的数组,里面只有一个数是出现一次的,其他的数都出现了三次,然后让把这个数找出来. 第一眼看到这 ...
北邮OJ 84. Single Number
84. Single Number 时间限制1000 ms 内存限制 65536 KB 题目描述 Given an array with N integers where all el ...

MLY -- 8.Establish a single-number evaluation metric for your team to optimize

注释：

MLY -- 8.Establish a single-number evaluation metric for your team to optimize相关推荐

最新文章

热门文章