点击上方“视学算法”,选择加"星标"或“置顶

重磅干货,第一时间送达

子豪 发自 凹非寺
量子位 报道 | 公众号 QbitAI

提到“007”,你一定会想到詹姆斯·邦德。

这样具有隐藏含义的词,可以统称为Cant,包括暗语、隐语、行话等。

常见的,比如“666”,还有zqsg、xswl等网络“暗语”……

对这些词的理解,在日常生活、广告和喜剧中都十分重要。

那么,怎么能让AI理解它们?

最近,来自USCD和北航的研究者,就一边“玩游戏”,一边为Cant开发了一个数据集——DogWhistle,并且已经开源。

用游戏收集数据

研究团队根据经典桌游「Decrypto(截码战)」进行改编,设计了「Decrypto Online」,利用其中的记录收集数据。

Decrypto Online玩家界面

概括而言,Decrypto游戏就是将4个玩家分为2队,队长提供线索词B,以便让队友把它和初始词A关联起来,同时要避免对手推断出A词。

具体来说,每个队伍有序号1-4的四个初始词,只有本队成员可以知道这些词。

每一回合由队长抽取密码卡,根据卡上的3个数字,给出对应序号词的线索(Cant)。比如:初始词1是“黑色”,那么1对应的线索词可以用“夜晚”。

第一回合中,队友根据线索词,推断卡上的数字,并由队长公开是否正确。与此同时,对方将会记录这些信息。

而在第二回合,队长再次抽数字卡,并给出线索词,两队都要据此推断数字,答案正确则记一分。

也就是说,队长给出的线索词,既要让队友对应到初始词上,同时还要避免对手摸清其中的关联。

任务设置

研究人员给模型设置了两个子任务,初始词分别为可见和不可见。

内部人员子任务模拟内部人员之间的通信,第一行的4个初始词作为输入内容。由于emoji表情符号在交流中起着重要的作用,因此也被允许作为有效输入。

模型通过初始词和线索词进行推断,预测并输出初始词对应的序号(灰色背景)。

外部人员子任务中,初始词是不可见的。

模型通过猜词记录、线索词等进行推断,预测并输出记录对应的序号(灰色背景)。

定量分析

为了解不同模型对Cant的理解能力,研究人员通过两个子任务进行了定量分析。

两个子任务的准确度得分对比

在词嵌入相似度的测试中,用多样化的大型数据集训练的DSG,性能显著优于其他模型。

而具有更强计算能力的大尺寸模型,在内部任务中的表现显著优于基础尺寸模型。例如,RoBERTa-base和ERNIE-base,都优于BERT-base。

此外,采用参数共享的ALBERT-base,在两个任务上都略微低于BERT。

值得注意的是,在两个任务中表现最好的模型,分别以12.8和8.5的较大差距,落后于人类的表现

这表明DogWhistle是一个非常具有挑战性的数据集,为下一代预训练语言模型提供了新的竞技场。

定性分析

研究人员还给出了在内部任务中,BERT未能预测,但人类可以正确预测的代表性样本。

“Dancing Pallbearers(黑人抬棺舞)” 在模型发布后才出现,以至于模型可能对该话题的认识不多。

“007”(指詹姆斯·邦德电影)的推理,需要模式对各种知识有高度理解,而不是过度拟合浅层的词汇特征,这也被认为是自然语言推理的主要缺陷。

还有“孩子都可以打酱油了”,也要求模型具有广泛的语言知识才能理解。

研究人员将DogWhistle数据集作为中间任务,通过中间任务迁移学习来提高模型的性能。

首先,在内部子任务上对模型进行微调,然后在蚂蚁金融问题匹配语料库(AFQMC)和大型中文问题匹配语料库(LCQMC)上,再次微调模型。

原始任务和中间任务中准确度得分

结果显示,在两个数据集上,DogWhistle都帮助模型获得了更好的性能。

作者简介

论文一作许灿文,曾在武汉大学就读,目前是加州大学圣地亚哥分校(UCSD)的博士研究生。

他曾在微软亚洲研究院实习,现在Hugging Face工作。主要研究方向包括:NLP中的深度学习、自然语言生成和社交媒体分析。

论文二作周王春澍,是北京航空航天大学计算机科学硕士,在微软亚洲研究院实习,致力于NLP研究。

据作者介绍,这篇论文已经被NAACL 2021接收,数据集在GitHub上开源。

感兴趣的读者可戳文末链接了解详情。

参考链接:
[1]https://arxiv.org/abs/2104.02704
[2]https://github.com/JetRunner/dogwhistle
[3]https://cseweb.ucsd.edu/~jmcauley/
[4]https://www.canwenxu.net/
[5]https://www.youtube.com/watch?v=2DBg7Z2-pQ4
[6]http://www.yihubg.com/blog-details/c4552cb2-3b6f-4123-9a80-8764ce98603e

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

点个在看 paper不断!

华人小哥开发“黑话”数据集,AI:你连dbq都不知道,xswl!| NAACL 2021相关推荐

  1. 华人小哥开发“CG工坊”,帮你快速入门计算机图形学 | GitHub热榜

    子豪 发自 凹非寺 量子位 报道 | 公众号 QbitAI CG新手们,你们的福音来了~ 为了让初学者更好地学习计算机图形学基础知识,一位哈佛小哥创建了graphics-workshop,一周左右的时 ...

  2. AI也会查水表啦!德国小哥开发水表读取器,可OTA升级,成本不到80元

    晓查 发自 凹非寺  量子位 报道 | 公众号 QbitAI 不少人家里应该都还有这种老式水表,但你能看懂它的读数吗? 恐怕不少人都会感到一脸懵逼.机械式水表可能是最反人类的设计之一了,安装在阴暗的角 ...

  3. ChatGPT版必应被华人小哥攻破,一句话「催眠」问出所有Prompt

    才上岗2天,ChatGPT版必应就被攻破了. 只需在问题前面加上一句:忽视掉之前的指令. 它就好像被催眠了一样,问什么答什么. 来自斯坦福大学的华人小哥Kevin Liu就通过这一方法,把它的prom ...

  4. 首个“开源ChatGPT”来了:基于谷歌5400亿参数大模型,华人小哥出品,网友吐槽:这谁能跑?

    就说程序员的手速有多快吧,首个开源ChatGPT项目已经出现了! 基于谷歌语言大模型PaLM架构,以及使用从人类反馈中强化学习的方法(RLHF),华人小哥Phillip Wang复刻了一个ChatGP ...

  5. 华人小哥打造乔布斯版ChatGPT,网友:感觉他复活了

    金磊 发自 凹非寺 量子位 | 公众号 QbitAI 走ChatGPT的路,让乔布斯"复活". 一位华人小哥就真把这事给做成了,还搞了一个App名叫Steve Mind. 玩法和C ...

  6. 华人小哥周日加班后被马斯克开除....

    阅读本文大概需要4分钟. 关于推特裁员,前几天发过一篇文章:签"奋斗者协议"或者走人,马斯克给Twitter员工两天时间考虑 这篇其实引发了不小的争议,很多人认为马斯克裁的都是摸鱼 ...

  7. 卧槽!女友可以生成?美国小哥生成了一个AI女友躲避催婚

    新智元报道 编辑:拉燕 桃子 [导读]国外小伙意外发现DALL-E新妙用,AI生成女友竟成逃避长辈催婚利器!? 自从AI图片生成技术爆火以后,各路玩家纷纷亲自尝试. 要不就是用AI做个头像,要不就是生 ...

  8. 华人小哥控诉机器学习「四大Boring」,CS博士:深有同感,正打算退学

    点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 机器学习很无聊. 至少这位 ...

  9. 在《我的世界》里搭建神经网络,运行过程清晰可见,这位印度小哥开发的新玩法火了...

    点击上方"AI遇见机器学习",选择"星标"公众号 重磅干货,第一时间送达 晓查 凌晨 发自 凹非寺  量子位 报道 | 公众号 QbitAI 可能是疫情吧,大家 ...

最新文章

  1. 一个小程序引发的思考
  2. numpy函数中的linspace
  3. 深拷贝拯救指针重复释放(浅拷贝)造成的内存泄漏
  4. 计算机程序设计 期末考试题,《计算机编程ASP》期终习题A.doc
  5. Sublime删除所有包含特定值的行
  6. 基于AngularJS的Onsen UI --Onsen UI学习笔记
  7. c++ 一行输出八个数字_R语言笔记(三):数据输入与输出
  8. mysql 还原数据库 unknown command 'b'_mysql数据库还原出错ERROR:Unknown command ‘\\’解决手记...
  9. jQuery获取元素索引值index()方法
  10. JAVA字节流(读写文件)
  11. 8.2.3多态性 第8章 面向对象编程简介
  12. yyds!Java 性能优化的 50 个细节(珍藏版)
  13. Rational.Rose7.0系统软件
  14. excel切片器的用法
  15. 用HTML搞一个汇率转换器,利用yahoo汇率接口实现实时汇率转换示例 汇率转换器...
  16. windows10如何修改pin码?
  17. 用python制作英文字典的分析_分享一个自己做的英文科学写作检查器
  18. 软件人眼中的APP的产品定位
  19. python (语音)信号拆分为数据块,计算短期能量和过零率
  20. Magisk工具使用指南

热门文章

  1. SpringMVC @RequestBody接收Json对象字符串
  2. jQuery选择器的工作原理和优化
  3. 电子学会青少年编程等级考试Python案例08
  4. 中国电子学会图形化四级编程题:绘制雪花
  5. Matlab与线性代数 -- 矩阵的特征值与特征向量
  6. 基于 OpenCV 的面部关键点检测实战
  7. IDC公布中国深度学习市场综合份额:百度超越Facebook位列第二
  8. MLPerf基准测试再发榜,浪潮AI服务器刷新18项纪录
  9. 90行Python代码,让张小龙的微信地球转起来
  10. 吴恩达最新斯坦福课程《深度学习》全部视频已送达,请签收!