李飞飞点赞的NeurIPS新赛道，刚刚公布了第一批数据集benchmark入围名单

2024-05-10 18:29:19

博雯发自凹非寺
量子位报道 | 公众号 QbitAI

今年4月份时，NeurIPS 2021曾宣布专门为数据集和基准测试推出一个新Track。

而现在，第一批数据集和基准终于公布了。

这次公布的内容包括一般数据集、NLP方向数据集、仿真环境和数据生成器、元分析和AI公平性、基准这五个方向。

入围的共有62篇论文。

入围的数据集和基准

在一般类的数据集上，共入围11篇：

主要为文本、语言、语音类的NLP数据集方向则有13篇：

仿真环境和数据生成器方向有11篇：

元分析和AI公平性上有7篇：

而最后在基准方面共有20篇：

新赛道规则：第二轮8月27日截止

对这一新Track所提交的材料，除了主会议论文之外，还应该提交补充材料：

像是如何收集和组织数据、其中包含何种信息、如何在合乎道德地使用数据，以及如何提供和维护数据等等。

提交是单盲的，而审查是开放的，

NeurIPS 2021会以主会议的标准进行严格审查。

只是其审查准则会适用于数据集和基准测试。

今年共有两次提交日期，允许连续提交。其中第一轮已截止。

第二轮提交的截止日期在8月27日，10月8日通知论文作者结果：

数据集和基准也需要审查规则

这一新Track是今年4月份，由NeurIPS的数据&基准主席Joaquin Vanschoren宣布的：

消息发出后，李飞飞教授表示赞赏：终于在ImageNet的12年之后见到了这一天。

在此之前，NeurIPS表示，现在社区内更关注算法设计，但往往不能轻易找到好的数据集。

这样，很多算法都只是在没有实际意义，或数据存在偏差的情况下进行评估的。

而在NeurIPS会议中，每年接受的论文中所提出的新的数据集少于5个，专注于在广泛的数据集上对算法进行系统性基准测试的也只有10个。

这也是NeurIPS开辟这一新Track的主要目的，他们表示：

我们建议在NeurIPS开辟一条新的赛道，作为数据和基准测试的孵化器。

它将作为出版物、会谈和海报的场所，也是讨论如何更广泛地改进数据集开发和面向数据的工作的论坛。

公布名单：
https://blog.neurips.cc/2021/08/12/updates-on-the-neurips-2021-datasets-and-benchmarks-track/

提交规则：
https://neurips.cc/Conferences/2021/CallForDatasetsBenchmarks

参考链接：
https://neuripsconf.medium.com/announcing-the-neurips-2021-datasets-and-benchmarks-track-644e27c1e66c

李飞飞点赞的NeurIPS新赛道，刚刚公布了第一批数据集benchmark入围名单相关推荐

李飞飞点赞！，刚刚公布了第一批数据集benchmark入围名单
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:量子位 AI博士笔记系列推荐周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接今年 ...
清华姚班校友马腾宇斩获斯隆奖！与鬲融师承一脉，李飞飞点赞祝贺
杨净发自凹非寺量子位报道 | 公众号 QbitAI 最近,有着"诺奖风向标"之称的斯隆研究奖公布. 此次共有128名来自物理学.数学.计算机等领域的研究者获得,一经发布就在 ...
达摩院首席数据库科学家李飞飞：云原生新战场，我们如何把握先机？
阿里妹导读:云计算大潮来袭,传统数据库市场正面临重新洗牌的情境,包括云数据库在内的一批新生力量崛起,动摇了传统数据库的垄断地位,而由云厂商主导的云原生数据库则将这种"改变"推向了高 ...
李飞飞点赞「ARM」：一种让模型快速适应数据变化的元学习方法 | 开源
鱼羊编译整理量子位报道 | 公众号 QbitAI 训练好的模型,遇到新的一组数据就懵了,这是机器学习中常见的问题. 举一个简单的例子,比如对一个手写笔迹识别模型来说,它的训练数据长这样: 那么当 ...
真 · 神经网络发明人福岛邦彦获奖，Schmidhuber、李飞飞点赞
点击"凹凸域",马上关注更多内容.请置顶或星标来自:机器之心报机器之心编辑部 1980 年,福岛邦彦首次使用卷积神经网络实现了模式识别,他被认为是真正的卷积神经网络发明者. 近 ...
谷歌云开大会，李飞飞等高管公布多款AI新产品
关注网易智能,聚焦AI大事件,读懂下一个大时代! [网易智能讯 7月25日消息]Google Cloud年度大会Google Cloud Next 2018于7月24日到7月26日在旧金山Moscon ...
李飞飞为什么会离职 Google？
今年 9 月,谷歌云 CEO Diane Greene 在其官方博客上公布了一则重磅消息,来自卡内基梅隆大学的计算机科学院院长 Andrew Moore 教授将在 2018 年底接任李飞飞的谷歌云 A ...
她，18岁，李飞飞三度公开表扬，高中时NIPS获奖，创造「AI手术教练」
夏乙郭一璞发自凹非寺量子位报道 | 公众号 QbitAI 一位00后女孩,登上最新一期<斯坦福医学>杂志的秋季报道.她被形容为<SuperStar>,一位超级明星. ...
独家 | 李飞飞亲口跟我们说：离职Google是假新闻
李根夏乙发自清华量子位出品 | 公众号 QbitAI 李飞飞要离职谷歌了? 刚刚,她本人亲口向量子位回应称:没有. 今日(6月28日),开始传出李飞飞即将离职谷歌的消息,称她会在今年下半年重 ...

最新文章

热门文章