机器学习系列16：机器学习系统设计

https://www.toutiao.com/a6700782123118232068/

机器学习系列16：机器学习系统设计

偏斜分类的误差评估

举个例子，我们想训练一个模型去诊断患者是否患有癌症。在人群中，患有癌症是一个极小概率发生的事情，比如 1000 个人中患有癌症的只有 5 人。那么在这个样本中，患有癌症的人的概率为 0.5%，正常人的概率为 99.5%，这是一个偏斜类，正结果(设为 1 )占总样本数极小。

如果我们训练的机器学习模型的正确率为 99%，看似这个正确率非常高，模型表现的很好，可是考虑下面这个模型(这都算不上一个模型)：令所有的结果全部输出为 0(也就是认为所有人都是没有癌症的)，它的正确率会达到 99.5%，比我们用机器学习训练的模型正确率还要高，那么这么模型就是好的吗?肯定不是，这个模型什么事情都没有做!我们被它欺骗了。

为了防止被结果欺骗，我们要用到偏斜分类的误差评估这种方法。其中用到了评估度量值:查准率(precision)和召回率(recall)。如下图：

我们将算法预测的结果分为 4 中情况：

1.正确肯定(True Positive)：预测为真，结果为真

2.正确否定(True Negative)：预测为假，结果为假

3.错误肯定(False Positive)：预测为真，结果为假

4.错误否定(False Negative)：预测为假，结果为真

查准率和召回率的定义已经在上图中列出来了。可以知道，查准率是在所有我们预测结果为真的情况下，预测成功的概率;召回率是在所有实际结果为真的情况下，我们预测成功的概率。那么回到刚才的问题，查准率是在所有我们预测为癌症的患者中，实际患有癌症的概率;召回率是在全部实际患有癌症的患者中，我们预测成功的概率。对于认为所有人都没有患癌症的算法，召回率为 0，那么这种算法就表现的很差，我们就不会被算法表面的结果所欺骗。

权衡查准率和召回率

回顾逻辑回归算法：

当我们把临界值 0.5 增大，查准率就会增大而召回率就会减小，当我们把临界值 0.5 减小，查准率就会减小而召回率就会增大。

评估一个算法的好坏我们要用到评估度量值，评估度量值是一个实数，能够评估这个算法的好坏，但是现在有两个值，我们就没办法确定究竟怎么选择。这时候首先想到用平均值，但是会发现，Algorithm 3 的平均值最大但是这个算法表现的是最差的，因此取查准率和召回率的平均值这种做法是不可取的。

我们需要要用到 F1 值去计算评估度量值。根据 F1 值的定义，当查准率和召回率其中有一个为 0 时，F1 值就为 0，因此 F1 值可以作为评估度量值。

机器学习系列16：机器学习系统设计相关推荐

机器学习系列2 机器学习的公平性
图1 机器学习的公平性目录一.学习准备二.数据和算法的不公平 1.公平性失衡造成的危害 ①分配 ②服务质量 ③成见 ④诋毁 ⑤代表性过高或不足三.如何改善不公平性? 1.检测不公平 2.了解并 ...
【机器学习系列】机器学习简介
一.机器学习概念定义:对于某类任务 T 和性能度量 P,如果一个计算机程序在 T上以P衡量的性能随着经验E 而自我完善,那么就称这个计算机程序在从经验 E学习机器学习时计算机科学的子领域,也是人 ...
阿里巴巴机器学习系列课程
亲爱的同学们,福利来临!随着机器学习领域的发展越来越火,阿里云机器学习PAI为广大机器学习爱好的学生提供免费的一站式算法平台,该平台提供上百种算法,并且兼容TensorFlow.Caffe.MXNET ...
机器学习系列(8)_读《Nature》论文，看AlphaGo养成
机器学习系列(8)_读<Nature>论文,看AlphaGo养成标签: 机器学习算法深度学习神经网络蒙特卡罗树搜索 2016-03-16 11:23 17843人阅读评论(8) 收藏 ...
机器学习系列(1)_数据分析之Kaggle泰坦尼克之灾
本篇博客通过分析泰坦尼克号事故中乘客的信息,从而得出一些相关关系的判断,并且使用Python可视化的手段更加具体的展现. 注:本篇博客参考资料: 1.kaggle入门–泰坦尼克号之灾(某书) 2.机器 ...
机器学习系列笔记六:主成分分析PCA[下]
机器学习系列笔记六:主成分分析PCA[下] 文章目录机器学习系列笔记六:主成分分析PCA[下] scikit-learn中的PCA 基本使用进阶操作对比实验设置合理的n_components ...
机器学习系列(12)_XGBoost参数调优完全指南（附Python代码）
机器学习系列(12)_XGBoost参数调优完全指南(附Python代码) 原文链接:http://blog.csdn.net/han_xiaoyang/article/details/5266539 ...
机器学习系列笔记十三: 集成学习/模型聚合
机器学习系列笔记十三: 集成学习/模型聚合文章目录机器学习系列笔记十三: 集成学习/模型聚合什么是集成学习 Voting Hard Voting 模拟实现Hard Voting 集成学习使用V ...
【机器学习系列】之SVM硬间隔和软间隔
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...

机器学习系列16：机器学习系统设计

机器学习系列16：机器学习系统设计相关推荐

最新文章

热门文章