整理自：专知

在公众号后台回复 Prompt Engineering 即可获取PPT。

ChatGPT爆火之后，也逐渐衍生出一大堆新的概念和机会。提示工程（Prompt Engineering）便是其中之一。据笔者所知，国内外目前已有提示工程相关的工程师岗位了。

提示工程是一门相对较新的学科，用于开发和优化提示，以有效地将语言模型(LM)用于各种应用和研究主题。提示工程技能有助于更好地理解大型语言模型(LLM)的能力和局限性。

研究人员使用prompt engineering来提高LLM在广泛的常见和复杂任务上的能力，如问答和算术推理。开发人员使用提示工程来设计与LLM和其他工具交互的健壮和有效的提示技术。

提示工程不仅仅是设计和开发提示。它包含了对与LLM交互和开发有用的广泛技能和技术。这是接口、构建和理解llm功能的一项重要技能。您可以使用prompt engineering来提高llm的安全性并构建新的功能，例如用领域知识和外部工具增强LLM。

由于对与LLM一起开发的高度兴趣，我们创建了这个新的prompt工程指南，其中包含所有最新的论文、学习指南、模型、讲座、参考资料、新的LLM功能和与prompt工程相关的工具。

地址：https://github.com/dair-ai/Prompt-Engineering-Guide

1. 引言

提示工程是一门相对较新的学科，用于开发和优化提示，以有效地将语言模型(LM)用于各种应用和研究主题。提示工程技能有助于更好地理解大型语言模型(LLM)的能力和局限性。研究人员使用prompt engineering来提高LLM在广泛的常见和复杂任务上的能力，如问答和算术推理。开发人员使用提示工程来设计与LLM和其他工具交互的鲁棒和有效的提示技术。

本指南涵盖了提示的基础知识，对如何使用提示来交互和指示大型语言模型(LLM)提供了一个粗略的想法。

LLM设置

在处理提示时，您将通过API或直接与LLM交互。您可以配置一些参数以获得不同的提示结果。

Temperature ——简而言之，Temperature 越低，结果越确定，因为总是选择可能性最高的下一个token。升高的Temperature可能导致更多的随机性，鼓励更多多样化或创造性的输出。我们实际上是在增加其他可能token的权重。在应用方面，我们可能希望对基于事实的QA等任务使用较低的Temperature，以鼓励更事实和更简洁的回答。对于诗歌生成或其他创造性任务，提高Temperature可能是有益的。

Top_p -类似地，使用Top_p(一种称为核采样的Temperature采样技术)，您可以控制模型生成响应的确定性程度。如果你正在寻找准确和事实的答案，请保持这个数字较低。如果您正在寻找更多样化的响应，请增加到更高的值。

一般的建议是改变其中一个，而不是两个都改变。

在开始使用一些基本示例之前，请记住，您的结果可能会因您使用的LLM版本而有所不同。

提示的基础知识

提示的元素

随着我们介绍提示工程可能提供的越来越多的示例和应用程序，您将注意到有一些组成提示的元素。

提示(prompt)可以包含以下任何一个组件。

• 指令(Instruction):希望模型执行的特定任务或指令

• 上下文 context

  ——可以包含外部信息或额外的上下文，这些信息可以引导模型做出更好的响应

• 输入数据——是我们感兴趣的输入或问题

• 输出指示器 Indicator :表示输出的类型或格式。

提示并不需要所有组件，其格式取决于当前的任务。我们将在接下来的指南中接触到更多具体的例子。

设计提示的一般技巧

提示示例

在前一节中，我们介绍并给出了如何提示LLMs的基本示例。

在本节中，我们将提供更多示例，说明如何使用提示来实现不同的任务，并介绍其中的关键概念。通常，学习概念的最好方法是通过示例。下面我们将介绍几个示例，说明如何使用精心设计的提示来执行不同类型的任务。

主题:

• 文本摘要

• 信息提取

• 问题回答

• 文本分类

• 谈话

• 代码生成

• 推理

2. 提示技术

在这一点上，很明显，改进提示有助于在不同的任务上获得更好的结果。这就是prompt engineering背后的全部思想。

虽然基本的例子很有趣，但在本节中，我们将介绍更高级的提示工程技术，使我们能够实现更复杂和有趣的任务。

• Zero-shot Prompting 

• Few-shot Prompting 

• Chain-of-Thought Prompting 

• Self-Consistency 

• Generate Knowledge Prompting 

• Automatic Prompt Engineer 

• Active-Prompt 

• Directional Stimulus Prompting 

• ReAct 

• Multimodal CoT 

• Graph Prompting

3. 提示应用

• Program-Aided Language Models

• Generating Data

4. 模型

• ChatGPT

在本节中，我们将介绍ChatGPT的最新提示工程技术，包括提示、应用、限制、论文和额外的阅读材料。

主题:

• ChatGPT介绍

• 回顾对话任务与ChatGPT的对话

• Python的笔记本

ChatGPT是OpenAI训练的一种可以进行对话交互的新模型。该模型被训练成遵循提示中的指示，在对话的上下文中提供适当的响应。ChatGPT可以帮助回答问题、建议食谱、以某种风格写歌词、生成代码等等。

ChatGPT使用来自人类反馈的强化学习(RLHF)进行训练。虽然这个模型比之前的GPT迭代更有能力(也经过训练以减少有害和不真实的输出)，但它仍然有局限性。让我们通过具体的例子来介绍一些功能和限制。

你可以在这里使用ChatGPT的研究预览，但对于下面的示例，我们将使用OpenAI Playground上的聊天模式。

• GPT-4

在本节中，我们将介绍GPT-4最新的prompt工程技术，包括提示、应用、限制和其他阅读材料。

GPT-4介绍

最近，OpenAI发布了GPT-4，这是一个大型多模态模型，可以接受图像和文本输入并发出文本输出。它在各种专业和学术基准上实现了人类水平的表现。

书册：

课件：

在公众号后台回复 Prompt Engineering 即可获取PPT。

进NLP群—>加入NLP交流群

持续发布自然语言处理NLP每日优质论文解读、相关一手资料、AI算法岗位等最新信息。

加入星球，你将获得：

1. 每日更新3-5篇最新最优质的的论文速读。用几秒钟就可掌握论文大致内容，包含论文一句话总结、大致内容、研究方向以及pdf下载。

2. 最新入门和进阶学习资料。包含机器学习、深度学习、NLP等领域。

3. 具体细分NLP方向包括不限于：情感分析、关系抽取、知识图谱、句法分析、语义分析、机器翻译、人机对话、文本生成、命名实体识别、指代消解、大语言模型、零样本学习、小样本学习、代码生成、多模态、知识蒸馏、模型压缩、AIGC、PyTorch、TensorFlow等细方向。

4. 每日1-3个NLP、搜广推、CV等AI岗位招聘信息。可安排模拟面试。