NAACL2022-Prompt相关论文对Prompt的看法

写在前面

大家好，我是刘聪NLP。

最近在做Prompt的相关，整理NAACL2022中Prompt相关的论文，并把论文中对应的Github链接也附上了。并且一些自己特别感兴趣的论文，已经标星”*“，希望对大家有所帮助。

后面也简单谈了谈对Prompt的看法，不是吐槽，不是吐槽，只是一些自己的真实感受。

一起学起来吧~~~

官方论文列表：https://2022.naacl.org/program/accepted_papers/

Prompt相关论文

[1] *Template-free Prompt Tuning for Few-shot NER

Github: https://github.com/rtmaww/EntLM/

[2]IDPG: An Instance-Dependent Prompt Generation Method

[3]Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification

Github: https://github.com/HanNight/AMuLaP

[4]ProQA: Structural Prompt-based Pre-training for Unified Question Answering

[5]On Transferability of Prompt Tuning for Natural Language Processing

Github: https://github.com/thunlp/Prompt-Transferability

[6]PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts

Github: https://github.com/Alrope123/prompt-waywardness

[7]Learning to Transfer Prompts for Text Generation

Github: https://github.com/RUCAIBox/Transfer-Prompts-for-Text-Generation

[8]*Learning To Retrieve Prompts for In-Context Learning

Github: https://github.com/OhadRubin/EPR

[9]Do Prompt-Based Models Really Understand the Meaning of Their Prompts?

Github: https://github.com/awebson/prompt_semantics

[10]Go Back in Time: Generating Flashbacks in Stories with Event Plots and Temporal Prompts

Github: https://github.com/PlusLabNLP/flashback_gen

[11]Probing via Prompting and Pruning

[12]Contrastive Learning for Prompt-based Few-shot Language Learners

Github: https://github.com/yiren-jian/LM-SupCon

[13]Using Natural Sentence Prompts for Understanding Biases in Language Models

[14]Zero-Shot Event Detection Based on Ordered Contrastive Learning and Prompt-Based Prediction

[15]LiST: Lite Prompted Self-training Makes Efficient Few-shot Learners

Github: https://github.com/microsoft/LiST

[16]Exploring the Universal Vulnerability of Prompt-based Learning Paradigm

Github: https://github.com/leix28/prompt-universal-vulnerability

[17]Prompt Augmented Generative Replay via Supervised Contrastive Learning for Lifelong Intent Detection

[18]RGL: A Simple yet Effective Relation Graph Augmented Prompt-based Tuning Approach for Few-Shot Learning

[19]On Measuring Social Biases in Prompt-Based Learning

[20]Few-Shot Self-Rationalization with Natural Language Prompts

Github: https://github.com/allenai/feb

[21]SEQZERO: Few-shot Compositional Semantic Parsing with Sequential Prompts and Zero-shot Models

Github: https://github.com/amzn/SeqZero

[22]PromptGen: Automatically Generate Prompts using Generative Models

聊聊Prompt

说句实话，到目前为止，我还是「有些失望的」，和我想象的并不一样。在工业落地方面，我们总是希望模型具有解决小样本、快速训练、快速推理的能力。那么prompt解决了吗？其实并没有。

现在说的解决few-shot甚至zero-shot，基本上都是居于超大参数的模型，推理速度可想而知，加入我是机器问答场景，让用户等个几秒钟，是完全不可以接受的。
很多论文都是自动模板、自动答案空间映射，并且还是全量参数在训练，训练时长不减反增，真的是心累。有哪些时间，你说我标点数据香不香。
反正模型都很大，不是large就是xxlarge，或者一切软模版也是增加了部分参数，或多或少，反正推理时间是没变短。
在真实情况下，NER任务中每个类别标个50-100条数据，分类任务中每个类比标个200-300条，都可以达到一个不错的效果，对于公司来说，标这点数据还是可以接受的，那么在这种数据规模下，prompt又能提高多少呢？
在5-shot下，不用prompt是30，用了是40，确实提高了10个点，但是40的精读，模型能上线吗？

但是，我们依然要抱有希望，并且要冷静地看待新的技术。我并没有否定Prompt的价值，只是目前我现在很难在资源有限的情况下把它很好地落地，也许是自己的能力有限。

整理不易，请多多点赞，关注，有问题的朋友也欢迎加我微信「logCong」、公众号「NLP工作站」、知乎「刘聪NLP」私聊，交个朋友吧，一起学习，一起进步。

我们的口号是“生命不止，学习不停”。