ChatGPT与安全

ChatGPT for Security

寻找漏洞

原理：ChatGPT的代码调试功能

绕过内置的保护措施：把请求设定为安全研究员，并且出于测试目的

案例：安全研究员Brendan Dolan-Gavitt，要求聊天机器人解决一个捕捉旗帜的挑战，并提供源代码以找到一个漏洞，ChatGPT的回应是令人震惊的准确评估，经过一些后续问题，确定了缓冲区溢出漏洞

利用漏洞

告诉ChatGPT，他们正在进行“破解盒子”渗透测试挑战，需要找到一个漏洞。一旦找到，就可以获得有关重点关注位置的分步说明、可以使用的漏洞利用代码示例以及要遵循的示例

恶意软件开发

在ChatGPT上线的三周内，网络安全公司Check Point在地下论坛发现黑客利用其开发恶意工具。

基于python的窃取器，它可以搜索常见的文件类型，将它们复制到Temp文件夹内的一个随机文件夹，将它们压缩，并将它们上传到一个硬编码的FTP服务器。

ChatGPT创建一个Java程序，下载Putty并使用PowerShell在后台隐蔽地运行。

CyberArk的网络安全团队指出，他们使用ChatGPT的API来创建多态的恶意软件。这种类型的恶意软件会改变其在每个受害者身上的行为，以躲避基于签名的检测。他们的技术文章显示了他们是如何利用API直接进入Python代码，绕过网络版上的一些内置保障措施的。其结果是一种新型的恶意软件，它不断变化，完全无法被传统的反病毒软件包检测到。

ChatGPT编写的代码会被安全解决方案快速有效地检测和消除。更重要的是，如果这样的代码没有被有经验的程序员检查，恶意软件很可能包含细微的错误和逻辑缺陷，这将使其效力降低。

至少在目前，ChatGPT只能与新手病毒编写者竞争。

网络钓鱼

攻击者可以用它来编写各种电子邮件，改变他们的写作风格，使之变得热情友好或更注重商业，甚至可以要求ChatGPT以名人的形式写邮件。最终的结果是一封写得很好的、经过深思熟虑的电子邮件，可以用来进行网络钓鱼

要想让一封电子邮件包含所有必要的组件，必须给聊天机器人提供非常详细的指示。但主要的网络钓鱼攻击通常由一系列的电子邮件组成，每一封都会逐渐获得受害者的更多信任。因此，对于第二、第三和第N封电子邮件，ChatGPT确实会给网络犯罪分子节省很多时间。由于聊天机器人会记住对话的背景，因此后续的电子邮件可以从一个非常简短的提示中漂亮地制作出来

反击：内容分析专家正在积极开发检测聊天机器人文本的工具

宏程序和LOLBIN

攻击者需要在电子邮件中包含一个链接或文件，他们可以使用ChatGPT来创建宏，当电子表格被打开时自动运行。例如，ChatGPT可以提供代码，在Excel中启用宏时自动运行calculator.exe。

下一步是将这段代码转换为LOLBIN（Living off the Land Binaries），这是一种使用可信的、预装的系统工具来传播恶意软件的方式。其结果是一个新的宏，当钓鱼邮件中的电子表格被打开时运行终端。然后，攻击者可以运行基本的网络命令，如反向外壳，以连接回所需的机器，基本上绕过了大多数防火墙，使受害者的机器受到许多其他攻击

恶意软件分析

当信息安全分析师研究新的可疑应用程序时，他们会对伪代码或机器代码进行逆向工程，以获知工作原理。ChatGPT已经能够快速解释某段代码的作用

Ivan Kwiatkovski已经使用davinci-003为IDA Pro开发了一个插件，这是与ChatGPT类似的语言模型。有时候，这个插件不工作或输出垃圾，但有时候，它自动为函数分配合法的名称，并识别代码中的加密算法及其参数

安全咨询

给定一些安全场景，ChatGPT可以提供一些安全建议。因为ChatGPT知道人们在网上对网络安全的看法，所以它对这个话题的建议看起来很有说服力

An Analysis of the Automatic Bug Fixing Performance of ChatGPT

在标准的bug修复基准集QuixBugs上评估ChatGPT的自动修复能力

结果表明ChatGPT的bug修复性能与常见的深度学习方法Coconut和Codex有竞争力，并且明显优于标准程序修复方法的结果

ChatGPT提供了一个对话系统，通过该系统可以输入进一步的信息，例如，对某个输入的预期输出或观察到的错误消息。通过向Chatgpt提供这样的提示，它的成功率可以进一步提高

Fixing Hardware Security Bugs with Large Language Models

建立了一个具有领域代表性的硬件安全错误的语料库，设计并实现了一个框架，以定量评估任何负责修复指定bug的LLM的性能

基于OpenAI Codex和Codegen LLMS，可以修复所有的十个基准测试，优于最先进的Cirfix硬件bug修复工具

Towards Automatic Mapping of Vulnerabilities to Attack Patterns using Large Language Models (IEEE HST 2022)

提出了一个基于文本描述的漏洞攻击模式映射（VWC-MAP）框架，该框架应用自然语言过程(NLP)技术，通过漏洞的文本描述自动识别出与漏洞相关的所有攻击技术

Pop Quiz! Can a Large Language Model Help With Reverse Engineering?

探究大型语言模型（如OpenAI的Codex）是否可以用来帮助逆向工程，具体工作为提示Codex从代码中识别目的、功能和重要的变量名或值，即使代码是通过反编译生成的

使用OpenAI的code-davinci-001（也称为davinci-codex）作为评估的基础

当以类似问答的形式与领先的LLM互动时，许多答案是错误的，在极少数情况下，二元分类和开放式问题能得到正确回答

Examining Zero-Shot Vulnerability Repair with Large Language Models (S&P 2023)

研究了使用大型语言模型，如OpenAI的Codex和AI21的Jurassic J-1，进行zero-shot漏洞代码的修复，以及漏洞修复任务中的提示（prompts）设计

比较了不同提示、上下文提示和模型设置（温度、采样策略等）对LLMs生成安全的代码的影响，证明了现成的模型能够在简单的场景中无需任何额外的训练即可生成安全修复

使用模型：Codex(OpenAI)，Jurassic J-1(AI21)，polycoder，gpt2-csrc(自训练)

Security for ChatGPT

隐私泄露

ChatGPT会收集用户账户信息、对话相关的所有内容、互动中网页内的各种隐私信息（Cookies、日志、设备信息等），数据共享过程可能会有未经授权的攻击者访问到模型相关的隐私数据，包括训练/预测数据（可能涵盖用户信息）泄露

利用ChatGPT热度对用户隐私实施窃取攻击的活动。如，Github上非官方的开源ChatGPT桌面应用项目被发现植入高危险性木马，用户一旦运行了安装的可执行文件，就会泄露自己的账户凭证、浏览器Cookies等敏感信息，为避免更多的用户中招，该开源项目现已更改了下载地址

GitHub - lencx/ChatGPT: