Single number evaluation metric

建一个评估指标。可以是准确率、召回率、F1 score。

Satisficing and Optimizing metric

很多时候我们需要协调多个因素，达到自己的目的。例如猫分类器，我们想要准确率，又想要运行时间快。这个时候我们可以设立一个目标score=accuracy-0.5*runtime。我们非常在意，想要非常非常高的那个指标称为Optimizing metric，这里准确率就是。那些我们认为达到一定值就可以的指标，称为Satisficing metric。例如运行时间，只要在100ms之内，至于是80ms还是90ms都可以。

关于训练集

数据集分为训练集、交叉验证集、测试集。每个数据集的数据分布应该是相同的。
在数据量百万以下，训练集/测试集=7/3，训练集/交叉验证集/测试集=6/2/2。
如果数据量非常大，大于百万，则可以训练集/交叉验证集/测试集=98/1/1。

交叉验证集(dev set)：目的是用来调整模型参数。

测试集的目的是：在模型训练完成，应用在实际系统前，评估一下模型的优劣，给自己增加自信心。一般来讲10,000训练样本或者100,000训练样本足以。如果你对这个值非常非常看重，可以增加测试集的样本量。

参考文献：
1 文章内容来源于Structuring Machine Learning Projects.

机器学习的一些注意事项相关推荐

带你了解Attention机制在机器学习领域革命中的作用
文章目录什么是注意力(Attention)机制机器学习中的注意事项自然语言处理中的注意事项计算机视觉中的注意事项解读<心理学.神经科学和机器学习的关注> 注意力(Attentio ...
sqlserver2019安装注意事项-最后一步机器学习无法验证通过，机器学习python
sqlserver2019安装教程先附上下载地址百度云下载链接: 链接:https://pan.baidu.com/s/1bhWZbkxdAjHxp3vd4MmKzQ 提取码:1sku 在线下载地 ...
【机器学习】 - keras中的模型可视化plot_model模块（含依赖包pydot和graphviz的详细安装过程与注意事项）
运行环境: win10 + anaconda3-spyder + python3.7.4 + tensorflow2.0.0 首先需要安装两个包pydot和graphviz,不然会报错: Failed ...
【机器学习】在浏览器端实践机器学习，需要考虑哪些注意事项
⭐️ 本文首发自前端修罗场(点击加入),是一个由资深开发者独立运行的专业技术社区,我专注 Web 技术.答疑解惑.面试辅导以及职业发展.现在加入,私聊我即可获取一次免费的模拟面试机会,帮你评估知识点 ...
机器学习-Sklearn
Scikit learn 也简称 sklearn, 是机器学习领域当中最知名的 python 模块之一. Sklearn 包含了很多种机器学习的方式:Classification 分类 Regress ...
小狗钱钱_✅每次构建待办事项列表应用程序时，都会有一只小狗？死了？
小狗钱钱 by Hrishi Mittal 由Hrishi Mittal ✅每次构建待办事项列表应用程序时,都会有一只小狗 ? 死了? (✅ Every time you build a to-do ...
使用TensorFlow进行机器学习即服务
by Kirill Dubovikov 通过基里尔·杜博维科夫(Kirill Dubovikov) 使用TensorFlow进行机器学习即服务 (Machine Learning as a Servi ...
李宏毅机器学习笔记六——Gradient Descent
视频来源: 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=6 使用GD的注意 ...
【直播】陈信达：零基础计算机视觉之机器学习基础
零基础计算机视觉之机器学习基础直播信息分享嘉宾:陈信达,Datawhale成员,上海科技大学硕士. 直播时间:2021年07月30日 20:00 直播内容: 线性回归与指针读数识别逻辑回归原理与 ...

机器学习的一些注意事项

Single number evaluation metric

Satisficing and Optimizing metric

关于训练集

机器学习的一些注意事项相关推荐

最新文章

热门文章