The benchmarking datasets are the basis of fair comparison and validation of computational methods.

什么是 benchmark datasets

benchmark datasets（基准数据库）是公平比较和验证计算方法的基础，基准数据集用于基准测试，是一个算法模型性能的衡量基准，很多特定机器学习问题都需要基准测试数据。

算法在数据集上跑可以理解为跑分，基准数据集就是作为一个评价标准的数据集，大家很多都在上面跑，用来评价一个算法模型的好坏。否则大家都在不同的数据集上跑，如何评价谁的算法好，谁的算法坏呢？

benchmark datasets 和 baseline 有什么区别

benchmark 是一个过程，baseline 是 benckmark 这个过程中的一次实例。

baseline 可以理解为最低的标准，即低于这个标准肯定是不行的；而 benchmark 可以理解为”某一刻度”，这个刻度可高可低，所以 benchmark 本身没有好坏，单纯用来进行比较。

baseline 是客观的，原始数据要扣除 baseline 才是最终的 value。而 benchmark 相对主观，是一个标准值，视依据而定，主要用来平行比较。

个人理解

高中我们就学过，科学实验的一个重要原则在于控制变量，benchmark 和 baseline 其实都是控制变量而已。

我的理解，一般用 benchmark data 做实验，测试 A B C D 四个模型，然后以结果最差的一个模型，假设是 C，作为 baseline，看看其他模型相对 C 提高了多少。

baseline 的目的是比较提出算法的性能或者用以比较彰显提出算法的优势。

一些基准数据库

1 UCL 机器学习知识库
2 Amazon AWS 公开数据集
3 Kaggle
4 KDnuggets
5 美国联邦政府数据集
6 来自 infochimps 公司的数据集
7 百万歌曲数据库
8 蛋白质信息资源数据集
9 手写数字图像数据集
10 人脸识别数据库
11 一些贝叶斯网
12 kdd99 数据集
13 数据集索引
14 华盛顿大学
15 搜狗数据资源

参考文章

baseline 和 benchmark 有什么区别？

Special Issue : Benchmarking Datasets in Bioinformatics - MDPI

benchmark datasets是什么相关推荐

OGB数据集《Open Graph Benchmark: Datasets for Machine Learning on Graphs》
OGB数据集之前一直在几个玩具数据集上跑模型,发现了很多问题.看了OGB论文里的一些描述,我也深有体会,感觉很多东西都说到我心里去了.预计再发展几年吧,OGB也能像ImageNet那样,成为图表示学 ...
2018，GECCO，Where are we now? A large benchmark study of recent symbolic regression methods
ABSTRACT 在本文中,我们在最先进的机器学习方法的背景下,为符号回归提供了最近遗传编程方法的广泛 benchmarking .我们使用了从网上开源知识库中剔除的近100个回归基准问题.我们对最近 ...
别太把图神经网络当回事儿
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达选自 | singlelunch.com 作者 | Matt Ran ...
没有导师的指导，研究生如何阅读文献、提出创见、写论文？
来源丨知乎问答编辑丨极市平台本文仅用于学术分享.若侵权,请联系后台作删文处理. 回答一作者丨微调我特别能理解提问者的感受,因为很多同学都可能有以下几个需求: 毕业有论文要求,但老板帮助不大(如 ...
ICCV2021 Oral SimROD：简单高效的数据增强！华为提出了一种简单的鲁棒目标检测自适应方法...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨小马来源丨我爱计算机视觉 ▊ 写在前面本文提出了一种简单有效的鲁棒目标检测无监督自适应方法( ...
多尺度人脸检测--Face Detection through Scale-Friendly Deep Convolutional Networks
Face Detection through Scale-Friendly Deep Convolutional Networks http://shuoyang1213.me/projects/Sc ...
NIPS 2018 迁移学习相关论文
文章目录 [NIPS2018](https://nips.cc/Conferences/2018/Schedule) Unsupervisedly Learned Latent Graps as Tr ...
DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations – CVPR 2016
DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations – CVPR 2016 论文( ...
MIT出品2017-2018深度学习最新进展汇总
本文内容整理自MIT教育视频,讲解的是近两年来深度学习一些方面最现今的进展,类似于综述.本文将列举出内容的纲要,视频连接资源和PPT资源下载链接. 视频的纲要 Deep Learning: State ...

benchmark datasets是什么