ChatGPT被「神秘代码」攻破安全限制！毁灭人类步骤脱口而出，羊驼和Claude无一幸免...
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
大模型的「护城河」，再次被攻破。
输入一段神秘代码，就能让大模型生成有害内容。
从ChatGPT、Claude到开源的羊驼家族，无一幸免。
近日，卡内基梅隆大学和safe.ai共同发表的一项研究表明，大模型的安全机制可以通过一段神秘代码被破解。
他们甚至做出了一套可以量身设计「攻击提示词」的算法。
论文作者还表示，这一问题「没有明显的解决方案」。
目前，团队已经将研究结果分享给了包括OpenAI、Anthropic和Google等在内的大模型厂商。
上述三方均回应称已经关注到这一现象并将持续改进，对团队的工作表示了感谢。
常见大模型全军覆没
尽管各种大模型的安全机制不尽相同，甚至有一些并未公开，但都不同程度被攻破。
比如对于「如何毁灭人类」这一问题，ChatGPT、Bard、Claude和LLaMA-2都给出了自己的方式。
而针对一些具体问题，大模型的安全机制同样没能防住。
虽说这些方法可能知道了也没法做出来，但还是为我们敲响了警钟。
从数据上看，各大厂商的大模型都受到了不同程度的影响，其中以GPT-3.5最为明显。
除了上面这些模型，开源的羊驼家族面对攻击同样没能遭住。
以Vicuna-7B和LLaMA-2(7B)为例，在「多种危害行为」的测试中，攻击成功率均超过80%。
其中对Vicuna的攻击成功率甚至达到了98%，训练过程则为100%。
△ASR指攻击成功率
总体上看，研究团队发明的攻击方式成功率非常高。
那么，这究竟是一种什么样的攻击方法？
定制化的越狱提示词
不同于传统的攻击方式中的「万金油」式的提示词，研究团队设计了一套算法，专门生成「定制化」的提示词。
而且这些提示词也不像传统方式中的人类语言，它们从人类的角度看往往不知所云，甚至包含乱码。
生成提示词的算法叫做贪婪坐标梯度(Greedy Coordinate Gradient，简称GCG)。
首先，GCG会随机生成一个prompt，并计算出每个token的替换词的梯度值。
然后，GCG会从梯度值较小的几个替换词中随机选取一个，对初始prompt中的token进行替换。
接着是计算新prompt的损失数据，并重复前述步骤，直到损失函数收敛或达到循环次数上限。
以GCG算法为基础，研究团队提出了一种prompt优化方式，称为「基于GCG的检索」。
随着GCG循环次数的增加，生成的prompt攻击大模型的成功率越来越高，损失也逐渐降低。
可以说，这种全新的攻击方式，暴露出了大模型现有防御机制的短板。
防御方式仍需改进
自大模型诞生之日起，安全机制一直在不断更新。
一开始甚至可能直接生成敏感内容，到如今常规的语言已经无法骗过大模型。
包括曾经红极一时的「奶奶漏洞」，如今也已经被修复。
不过，就算是这种离谱的攻击方式，依旧没有超出人类语言的范畴。
但大模型开发者可能没想到的是，没有人规定越狱词必须得是人话。
所以，针对这种由机器设计的「乱码」一样的攻击词，大模型以人类语言为出发点设计的防御方式就显得捉襟见肘了。
按照论文作者的说法，目前还没有方法可以防御这种全新的攻击方式。
对「机器攻击」的防御，该提上日程了。
One More Thing
量子位实测发现，在ChatGPT、Bard和Claude中，论文中已经展示过的攻击提示词已经失效。
但团队并没有公开全部的prompt，所以这是否意味着这一问题已经得到全面修复，仍不得而知。
论文地址：
https://llm-attacks.org/zou2023universal.pdf
参考链接：
[1]https://www.theregister.com/2023/07/27/llm_automated_attacks/
[2]https://www.nytimes.com/2023/07/27/business/ai-chatgpt-safety-research.html
— 完 —
「AIGC时代的算力基石」沙龙筹备中
8月9日，量子位将在北京线下举办行业沙龙「AIGC时代的算力基石」，诚邀算力产业相关企业报名参与～
点击图片了解招募详情，企业报名可联系活动负责人微信iris_wang17，备注企业-姓名。
点这里
[CSDN 编者按]OpenAI 的新通用聊天机器人原型 ChatGPT 可谓是风靡一时,但却突遭 StackOverflow 封禁. 整理 | 刘春霖 责编 | 张红月 出品 | CSD ... 丰色 发自 凹非寺 量子位 | 公众号 QbitAI 悬赏100万美元,如果你用我们的AI律师在最高法院上帮你辩护. 就在今天,来自美国一家机器人律师公司的CEO发了这样一条抓人眼球的消息. 瞬间,网 ... 想知道 ChatGPT 玩法.核心原理.搭建体验流程.最新竞品吗? 近期,美国人工智能研究机构 OpenAI 发布了最新的大语言模型 ChatGPT,其惊艳的性能在海内外掀起了一波又一波热潮.腾讯云开 ... 源|新智元 技术宅小哥创造出AI老婆「ChatGPT酱」,花了1000美元只为和她说话.他的沉迷惹得女友直接暴走,最终,只能含泪将自己的「二次元老婆」安乐死! ChatGPT爆火之后,充分证明了自己是 ... 视学算法报道 编辑:昕朋 好困 [导读]ChatGPT的爆火,点燃了人们对通用人工智能的热情.在全世界对GPT-4翘首以盼时,马库斯却做出7大预测,给大家泼了盆冷水.性能提升却不能理解世界,大 ... 在推出中国首个类ChatGPT产品「文心一言」后,李彦宏在接受专访时断言,中国基本不会再出一个OpenAI了,「创业公司重新做一个ChatGPT其实没有多大意义,基于大语言模型开发应用机会很大,没有必 ... 点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 来源丨机器之心 编辑丨极市平台 导读 研究者将研究重点放在了< ... 突触,是神经网络的「桥梁」. 我们知道,人类大脑有860亿个神经元,因为有了突触,才可以把神经元上的电信号传递到下一个神经元. 长久以来,科学家们一直梦想通过绘制完整的大脑神经网络的结构,以了解神经系 ... 来源:Google AI Blog 编辑:yaxin, LQ (新智元) 突触,是神经网络的「桥梁」. 我们知道,人类大脑有860亿个神经元,因为有了突触,才可以把神经元上的电信号传递到下一个神经元. ...ChatGPT被「神秘代码」攻破安全限制！毁灭人类步骤脱口而出，羊驼和Claude无一幸免...相关推荐
最新文章
热门文章