人工智能基准(Benchmarking)再思考

来源：专知

本文多图，建议阅读5分钟

本文介绍我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作。

当前人工智能中的基准测试范式存在许多问题:基准很快饱和，容易过度拟合，包含可利用的注释器工件，评估指标不清晰或不完善，并且不能衡量我们真正关心的东西。我将谈谈我在尝试重新思考我们在人工智能(特别是在自然语言处理)中进行基准测试的方式时所做的工作，包括对抗性的NLI和模因数据集，以及最近推出的Dynabench平台。

https://nlp.stanford.edu/seminar/details/douwekiela.shtml

人工智能基准(Benchmarking)再思考相关推荐

干货｜2020年以后人工智能的几点思考
戴琼海中国人工智能学会理事长.国务院参事中国工程院院士.清华大学信息学院院长我想和大家谈谈我对人工智能的几点思考,包括一些值得商榷的问题.从几千年前的原始社会,人们依靠石器工具来劳动:到农耕时期 ...
戴琼海：人工智能的几点思考
7月25日-26日,在中国科学技术协会.中国科学院.中国工程院.浙江省人民政府.杭州市人民政府.浙江省人工智能发展专家委员会指导下,由中国人工智能学会.杭州市余杭区人民政府主办,浙江杭州未来科技城管理 ...
光通信的再思考：5G流量爆发下的数据密度革命
来源:未来智库 1.投资要件区别于市场的观点: (1)市场对 5G 时代流量爆发的认知不足.市场认为当前大带宽高流量新应用的爆发趋势尚不明显,当前流量增长需求不清.我们认为,5G 时代的流量的爆发将 ...
干货｜2021年以后人工智能的几点思考？
计算机视觉研究院专栏作者:Edison_G 计算机视觉研究院长按扫描二维码关注我们获取更多资讯在中国科学技术协会.中国科学院.中国工程院.浙江省人民政府.杭州市人民政府.浙江省人工智能发展专 ...
人机融合智能的再思考
导语:近年来,随着科学技术的发展,人工智能取得了显著成果,但依然没有突破性进展.人机融合智能是未来人工智能的发展方向.本文阐述了对人机融合智能的几点思考,首先简要介绍人工智能的起源,提出未来人工智能的 ...
中国工程院谭建荣：人工智能应用得再好，最核心的算法不行，创新能力就不行丨MEET2021...
编辑部整理自 MEET 2021 量子位报道 | 公众号 QbitAI 随着数字经济时代的到来,以人工智能.大数据等为代表的数字化技术正在席卷各行各业. 当下人工智能发展得如火如荼,相应的智能产品 ...
中国工程院谭建荣：人工智能应用得再好，最核心的算法不行，创新能力就不行
随着数字经济时代的到来,以人工智能.大数据等为代表的数字化技术正在席卷各行各业. 当下人工智能发展得如火如荼,相应的智能产品应用也层出不穷. 然而,从智能产品到数字化转型,什么才是数字经济时代下企业的 ...
EventBus/EventQueue 再思考
EventBus/EventQueue 再思考 Intro 之前写过两篇文章,造轮子系列的 EventBus/ EventQueue,回想起来觉得当前的想法有点问题,当时对 EvenStore 可能有 ...
2d 蓝图_“蓝图”卷积--对深度可分离卷积的再思考
论文:Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved Mobil ...

人工智能基准(Benchmarking)再思考

人工智能基准(Benchmarking)再思考相关推荐

最新文章

热门文章