博士意外发现秘密:DALL-E 2自创语言,人看不懂但能生成特定图像,可能会被用来搞事!...
丰色 金磊 发自 凹非寺
量子位 | 公众号 QbitAI
DALL·E 2,这个AI竟然自己搞了一套秘密语言。
例如这两个非常奇怪的词组:
Apoploe vesrreaitais(下文简称A)
Contarra ccetnxniams luryca tanniounons(下文简称C)
(翻译软件都会崩溃,可以去试试)
但到了DALL·E 2这里,画风却截然不同。
在它看来,A就是“鸟类”的意思,而C则是“害虫”之意。
于是乎,如果给DALL·E 2喂上一句:A eat C,那么它的打开方式就会这样:
清一色产出的图片,都是鸟吃害虫相关。
而且你要是跟DALL·E 2说,生成“两只鲸鱼讨论食物,带字幕”,结果会是这样:
图里的“Wa ch zod rea”,在DALL·E 2的词库里竟然是“食物”的意思!
此事一经曝光,瞬间引发了众多网友的热议。
甚至还有人提出,有了这些秘密语言,可以绕开DALL·E 2的“违禁词过滤器”,从而生成一些有争议的图像了。
(搞事情!)
所以,关于DALL·E 2的秘密咒语,到底是怎么一回事?
一次意外的发现
发现这个问题的是国外一名计算机专业的博士生。
他注意到DALL-E 2模型在遇到需要给出带文字的图像时,总是会出现一些奇怪的单词。
比如输入这句:“两个农民谈论蔬菜,带字幕(Two farmers talking about vegetables, with subtitles)”,就出来这样一张图像:
像是挺像的,不过这字幕写的啥啊,不是英语又不是法语的,太奇怪了。
“你给我翻译翻译什么这是?”
灵机一动的小哥把其中一个“单词”“Vicootes”当作描述丢给模型,没想到,出来这样一堆图像:
有萝卜、有南瓜、有小柿子……难道“Vicootes”就代表蔬菜?
有意思。
接着他又把气泡中的那一串“Apoploe vesrreaitais”扔给DALL-E 2,一堆鸟图出现了:
“哦我明白了,这个单词代表‘鸟’,所以农民们似乎在谈论影响他们蔬菜的鸟类?”
看来DALL-E 2没有糊弄人……
“我发现了DALL-E 2的秘密语言!”小哥惊呼,继而打算再验证一下这是不是偶然。
还是刚才提到的鲸鱼讨论食物的例子中,小哥把那串“Wa ch zod rea”再输回去。
结果还真出来一堆吃的,而且还全是海鲜,符合鲸鱼们的“食性”。
DALL-E 2,真·诚不我欺。
更进一步,他用这些“咒语”搭配形容图像风格的词,看看DALL-E 2是否能正常解析。
结果也都没问题。看看这些“手绘鸟“、“卡通鸟”、“3D鸟”以及“线稿鸟”:
emmmm,最后一张怎么混进来个蚊子?
先不管它了(一会再说)。
所以这个模型为什么要用这种秘密语言来表示呢?
为什么会这样?
“DALL-E 2秘密咒语”话题之热,也引来了众多“解析侠”们的关注。
例如一位叫k1uge的网友便提出,问题出在了BPE(Byte Pair Encoding)身上。
BPE是自然语言语言处理中较为重要的编码方式之一,也是一种常见的token压缩方法,在很多大语言模型中都会涉及。
它的核心思路就是:
每一步都将最常见的一对相邻数据单位,替换为该数据中没有出现过的一个新单位,反复迭代直到满足停止条件。
举个例子。
如果要压缩“aaabdaaabac”这个单词,BPE就会先找出最常见的相邻字节对,即“aa”。
找到它之后,就可以用新的字节Z去代替,那么这个单词就变成了“ZabdZabac”。
同理,下一个最常见相邻字节对是“ab”,用Y来代替,单词会进一步被压缩成“ZYdZYac”。
再下一个最常见相邻字节对是“ZY”,用X来替代,最后单词就变成了“XdXac”。
……
于是,基于这样的原理,这位网友查了下DALL-E 2针对“鸟类”所用的BPE。
它是这样的:
apo, plo, e, ,ve, sr, re, ait, ais
而现实中很多鸟类的拉丁文学名,就有“apo”和“plo”的前缀。
例如Apodidae(雨燕)和Ploceidae(织布鸟),这两个单词属于鸟类的2种鸟科,每个科都有100余种。
像Apodiformes(雨燕目)是鸟类中最大的目,共有400余种。
于是这位网友便认为,DALL-E 2是从标有这些“学术用语”标签的图片中,获取到了关于鸟类的大部分信息。
或许这就是造成DALL-E 2秘密咒语的原因了。
但,事情还有反转
激动的博士小哥还专门写了一篇小论文讲述这个事情,还把这些发现都发在了推特上,引来数千网友围观,令大家直呼“Incredible”。
不过很快就有人亲自去试了一下,发现好像事情并没有那么简单。
比如代表“虫子”的那一串“Contarra ccetnxniams luryca tanniounons”,除了虫子,也会生成一些青蛙、牛或者鸽子的图像。
如果给这个描述再加上“cartoon”一词作为限定,生成的是一些“奶奶”,跟虫子完全不搭边??
“Apoploe vesrreaitais”倒是没问题,出来的还是一些鸟。
不过同样,一旦给它加上“cartoon”“3D render”这类词,又不对了,出来的是一些虫子。
(这和小哥最后那个例子里出现的蚊子也对应上了。)
代表蔬菜的“Vicootes”也是这样,单输没问题,一加上风格限定,出现的物种就变了;且基本可以说只符合“油画”“卡通”这些风格设定,跟前面的名词限定毫无关联,比如“Vicootes”+“painting”就是一堆纯风景绘画。
接着他还用同样的“两只鲸鱼谈论食物,带字幕”生成了一些图片,结果大部分文字都看不清,也没法转录。
最后找到一张这样的:
他用上面的”Evve waeles”再输入后,虽然得到了一张甜点照片,但出现了很多运动员、动物甚至水壶的照片。
还真的有点摸不着头脑了。
于是这位实验者就表示:
在我看来,这更像是一些随机的噪音,而不是DALL-E 2的秘密语言。
他艾特了博士小哥,希望他可以再给出相反的证据。
目前小哥还没有答复。
不过这确实是一个值得关注和讨论的话题,鉴于一些“咒语”和图像可以对上,如果真的是BPE码的话,那么真可能博士小哥所说:
有人用“白盒”方法解开这种规则,拿到一些违禁词的“咒语”,就可以绕过模型的过滤器了。
参考链接:
[1]https://twitter.com/giannis_daras/status/1531693093040230402
[2]https://twitter.com/BarneyFlames/status/1531736708903051265
[3]https://twitter.com/benjamin_hilton/status/1531780892972175361
[4]https://giannisdaras.github.io/publications/Discovering_the_Secret_Language_of_Dalle.pdf
[5]https://zhuanlan.zhihu.com/p/424631681
博士意外发现秘密:DALL-E 2自创语言,人看不懂但能生成特定图像,可能会被用来搞事!...相关推荐
- 达不达标的公式计算机,“我面试了几百个大学生都不达标,发现他们连这3个Excel公式都看不懂!”...
原标题:"我面试了几百个大学生都不达标,发现他们连这3个Excel公式都看不懂!" 顶公众号或 设为星标,否则可能收不到文章 当今职场竞争日益激烈,很多用人单位都提高了对求职者的各 ...
- 【深度学习】研究者意外发现DALL-E 2在用自创语言生成图像:全文黑话,人类都看不懂...
机器之心报道 机器之心编辑部 人工智能 DALLE 善于画出各种神奇图像的原因在于--它不说人话. 「我们发现 DALLE-2 似乎有一个隐藏的词汇表,用于生成各种荒谬描述内容的图像.例如,Apopl ...
- rust全息要啥才能做_绝地求生玩家意外发现红点秘密,网友表示以后终于不用带全息了!...
相信很多玩绝地求生的玩家都曾经纠结过一个问题,那就是红点和全息到底选择用哪个!当然对于很多玩家来说,其实这两种不同的瞄具大家都会使用,但是通常两种用的都不是很好,而对于一些高分段的玩家来说,红点瞄准镜 ...
- 2019年十大科学发现:一个年轻人的意外发现,见证了恐龙灭绝的那一天
来源:大数据实验室 2019年12月20日,国际顶尖学术期刊Science公布了2019年度十大科学突破,其中一项是发表在PNAS的论文,一个年轻人的意外发现,见证了6600万年前小行星撞击地球导致恐 ...
- 评论:26岁成都唐爽发现成果惊动奥巴马--意外发现新材料极可能成下一代电脑芯片...
评论:在这篇文章中,提到马未都老师对他说的一句话,'比时代快一半,你就会很幸福:与时代的节奏相同,你只能庸庸碌碌:比时代快一步,那你可能就会痛苦'.等你快了一步,可能就有如同独孤求败之感,如同莫奈一般 ...
- 小米8计算机快捷键,小米8这4个隐藏功能,使用半年今天才意外发现
原标题:小米8这4个隐藏功能,使用半年今天才意外发现 小米8是今年最出色的小米机型,不仅外观设计好看,机身性能还很强悍.而且相对于同配置的机型,小米8的价格更亲民,当然不仅如此,小米的MIUI系统也是 ...
- 意外发现新效应,量子退火计算能解决世界两大难题:反物质不对称与同位素分离
美国洛斯阿拉莫斯国家实验室(LANL)的一支团队在研究量子退火计算机的运行速度为什么比预期快很多时,意外发现了一个新的效应. 这种效应有可能解决两个著名的科学问题,一是宇宙中物质和反物质分布不平衡的原 ...
- 中山大学 计算机院博士录取名学,中山大学2021年博士研究生招生拟录取名单公示,2510人!...
原标题:中山大学2021年博士研究生招生拟录取名单公示,2510人! 根据教育部与广东省教育考试院的统一工作部署,经校内各招生单位研究生招生工作领导小组审核,研究生院审定,现将我校2021年博士研究生 ...
- 原子哥的STM32视频,我发现他们都看不懂原子哥里面按键扫描程序
近身边的很多同学都在学习原子哥的STM32视频,我发现他们都看不懂原子哥里面按键扫描程序.由于问的人多,所以我也写了个心得,分享一下,老鸟别喷我哈.先贴上代码吧: //返回值: //0,没有任何按键按 ...
最新文章
- 剪映导出帧率选多少_剪映帧率怎么设置?剪映帧率设置方法
- Jenkins学习总结(3)——Jenkins+Maven+Git搭建持续集成和自动化部署的
- 牛客练习赛26---未完
- java 1.7 32位官网下载地址_jdk1.7 32位下载|jdk1.7 32位官方下载「Java」-太平洋下载中心...
- 进程调度算法的模拟实现
- UEFI开发,记录第一场胜利——调用一个自己编写的protocol
- android小米4c 权限,小米手机4c详细刷成开发版获得Root权限的步骤
- 微信域名防封的3种方案
- 云端赋能安全驱动,知道创宇2021新品发布季强势来袭!
- CIE1931色度坐标及黑体轨迹
- MacOS安装brew教程从入门到入土
- android 发广播屏蔽home键,如何在Android App中屏蔽(拦截)Home按键及其他按键
- 【Linux】进程管理之kill、killall、pkill
- AsyncTask简介
- tcpdump man 手册页的详细中文翻译
- 基于Python的图片批量转PDF实现
- Linux7.6—Shell编程 学习笔记 第四章:系统任务设置
- 支付项目:4、支付术语初体验
- 随身笔记 - XMPP协议详解
- ESP32设备驱动-BMP183温度传感器驱动