每天给你送来NLP技术干货！

来自：李rumor

卷友们好，我是rumor。

昨天刚说最近没什么好玩的文章，老天就好像听到了我的话一样，在Arixv空降一篇文章下来，打开一看到作者list我都傻眼了：

https://arxiv.org/pdf/2201.05966.pdf

跟复仇者联盟一样，好久没见到这种阵仗了，也好久没见到刷SOTA像喝水一样的文章了。

除了带「+」号的已经用了T5的研究外，21个任务里有16个的记录都被刷新了。

长久以来，大家的关注点都在非结构化的文本任务上，而忽略了另一类以结构化数据为输入的任务，比如Text2SQL、KBQA、Data2Text、表格问答等。UnifiedSKG这篇工作，简单来说就是把这类涉及结构化数据的任务统一用非结构化文本表示，用T5进行精调。

整体idea还是比较简单的，但居然就这么有效果，把那么多SOTA都刷了，直接给这些任务卷上了一个台阶。这么说大家可能没有直观体验，我举个例子。去年我和实习的渊蒙同学基于BERT-base去做了一些KBQA预训练的尝试，做了一两个月在CompWebQ上都没有好效果，当时榜单和SOTA在54分左右，我们都没超过，结果现在上了T5，一下干到了73分。我这还怎么卷？？？

真是没想到在非结构化文本上训练的模型，在结构化数据任务上这么有效果。

多任务效果

上面的结果，都只是在单任务上的精调结果，后面的多任务才是大招。作者分别尝试了四种精调方法：

ST-F：单任务精调
ST-P：单任务prefix-tuning
MT-F：多任务精调
MT-P：多任务prefix-tuning

本来以为MT-F会好一些，没想到这个场景居然是MT-P效果最好：

因此作者的猜想是：不同的结构化数据领域不同，很难共享参数。

可以看到，MT-P比ST-F的效果又好上了很多，而且prefix-tuning这种freeze模型主干的方式可以更方便的进行应用。

迁移效果

从效果可以看到，这类任务只在同数据来源的情况下才有效，相同task不同结构化数据来源则不行：

少样本效果

作者在零样本和少样本上没有进行过多实验，也没有和其他的研究对比，感兴趣的同学可以看原文：

结构化数据如何编码

除了上述实验外，作者还进行对结构化数据编码的其他探索，得到了以下结论：

在顺序上，先放User input（比如query），再放context，最后放结构化数据效果好一些。作者猜想固定的位置可以让decoder的注意力更加问题
对于跨领域的表或者数据库，T5对字段的顺序没那么敏感，对于三元组则很敏感
对于WikiSQL，把数据转成自然语言可以加速收敛，对于表格的数据则没什么效果
T5的生成能力很强，语法上没什么错误，主要是答案有矛盾、信息缺失

总结

先给作者们点个赞，能把这样大规模的实验推进下去是件很不容易的事情，而且大家还要克服地域、时间上的不一致。虽然没有带来模型上的创新，但却帮这个领域的同学们踩了不少坑，也让我们更接近当前效果的天花板。

最后再推荐一下T5，真的香，我自己和身边都有人试过了，效果确实好。前阵子其实我已经把T5+KBQA的代码写好了，就是一直没好好搞。。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！

18家机构批量刷新SOTA！T5 is all you need！相关推荐

北京严厉打击违规发布网络房源信息行为 18家机构被查处
5月2日消息,据北京市住建委发布的消息,市住建委执法部门对标"十四五"时期房地产市场发展要求,全力治理我市网络房地产市场生态环境,不间断推进行业治理工作,以群众反映.媒体报道.舆情 ...
《EE Times》评出2020年全球最值得关注的18家传感器公司
来源:仪商网每年,美国著名电子技术类杂志<EE Times>都会评选出全球值得关注的新创半导体公司排行榜.今年已轮到了第20届,相较以往,最大的变化是这一届的榜单由60家增至100家. ...
盘点丨2017年亚洲新晋18家独角兽公司
来源:网易科技概要:在投资领域,当一个创业公司估值达到10亿美元时,人们就称它加入了独角兽俱乐部. 在投资领域,当一个创业公司估值达到10亿美元时,人们就称它加入了独角兽俱乐部. 据国外媒体Tech ...
挨踢人生路--记我的10年18家工作经历－第16家公司，英国公司――第一次当经理...
挨踢人生路--记我的10年18家工作经历 - 前言挨踢人生路--记我的10年18家工作经历 - 从大学说起――不得不说的一些事情挨踢人生路--记我的10年18家工作经历 - 第1家公司,在老家的工 ...
跟谁学上市未满1年遭4家机构6轮做空，市值一周缩水近20亿美元
昨日晚间,做空机构浑水(MuddyWatersResearch)发布了一份20余页针对在线教育机构跟谁学(GSX.US)的做空报告,报告称在分析的54065个用户中,跟谁学至少有73.2%的用户是机器 ...
君子签亮相2021中国互联网峰会，区块链电子签约赋能26家机构现场签约
7月13-15日,2021(第二十届)中国互联网大会,以全新主题"新阶段.新格局--互联网引领数字经济新发展"在北京国家会议中心隆重举办. 易保全受邀出席"互联网纠纷解决 ...
openGauss社区理事会正式成立！云和恩墨与3大运营商、7大头部银行等18家理事单位加入，共建、共享、共治优质社区...
9月25日,华为全联接2021大会如期举行.在会上,openGauss社区理事会正式成立,openGauss社区的开放治理迈出了历史性的关键一步. HC 2021 openGauss社区理事会正式成立 ...
广电运通：天弘基金、大成基金等47家机构于11月26日调研我司
2021年11月27日广电运通(002152)发布公告称:天弘基金许可.大成基金于威业.华夏基金孙逸非.建信基金左远明.创金合信基金李晗.中信建投基金孙文.华泰柏瑞基金陈碧野.贝莱德基金贺维艺.平安基 ...
挨踢人生路--记我的10年18家工作经历续 .转
挨踢人生路--记我的10年18家工作经历续 .转 from http://mvlung.blog.163.com/blog/static/30961748200971745935542/ 第13家公 ...
夺下7成市场份额，比亚迪遭18家日本车企“围剿”，理由太可笑
2年时间,比亚迪在日本市场已开设25家线下门店.承包了多个市县公共交通大巴车,拿下了日本近7成市场.还宣称将在2025年,开设100家专营中心. 海外市场拓展之路如火如荼,硬啃日本市场的比亚迪却遇上了 ...

18家机构批量刷新SOTA！T5 is all you need！

多任务效果

迁移效果

少样本效果

结构化数据如何编码

总结

18家机构批量刷新SOTA！T5 is all you need！相关推荐

最新文章

热门文章