prompt learning 提示学习初步心得及示例代码

先看下简单的情感分类示例：基于prompt learning的情感分类示例代码_znsoft的博客-CSDN博客

NLP 目前为止经历了四个阶段：

1. 完全监督机器学习

2. 完全监督深度神经网络

3. 预训练模型微调阶段：预训练-> 微调

4. prompt 提示学习阶段：预训练-> 提示-> 预测

第1,2阶段大家非常熟悉，第3阶段也有所了解，第4阶段是啥？

相对于第3阶段，第4阶段解决的是通过提示方法，修改下游任务来适应预训练模型。

在第三阶段，我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化。在第四阶段，我们要反过来图之，采用改造下游任务来适应语言模型。

为什么会有如此想法？当我们用GPT 3等巨量模型来进行下游任务时，潜意识中我们还是会想着改造语言模型来适应下游任务。毕竟，用少量语料微调来搞事，成本低见效快。但是，但是，遇到gpt 3这样的海量模型，你还fine tuning得动吗？想想你那可怜的显卡。

革命家告诉我们：敌动我不动，敌不动我动。既然敌人不能动，那就我自己来动，改造自己，适应敌人岂不更好？这就是prompt 提示学习的精华。

具体步骤：

prompt 框架：

术语解释：

PLM ：预训练模型模型，知识来源,可以是普通的LM, 也可以是masked LM, 如bert.

template: 模型，提示信息形成的模板

verbalizer:　标签映射器，用于将提示获得的标签词转换成标签，比如将 happy转换为 negative.

可能的研究方向：

在提示学习的任何可人工干预的阶段都可以添加外部知识进行处理。

1 提示模板生成 ,包括自动生成，外部知识扩展

2.性能改进。提示模板在通常情况下可能是自然语言，但是实际上是可以激发语言模型的所有标志词，可以自动生成与选择。

推荐综述： [综述]鹏飞大神的Pre-train, Prompt, and Predict [1] - 知乎

prompt learning 提示学习初步心得及示例代码相关推荐

【ICLR 2023】Diffusion Models扩散模型和Prompt Learning提示学习：prompt-to-prompt
Diffusion Models专栏文章汇总:入门与实战前言:今年prompt learning提示学习和diffusion models扩散模型实在是太火了,最新的ICLR 2023的一项工作把两 ...
【超全必看】Redis基础入门学习笔记（附示例代码）
Redis简介许多网站在海量用户访问的高并发情况下出现崩溃问题,根本原因是关系型数据库. 关系型数据库的缺点性能瓶颈:磁盘IO性能低下扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群解决思路 ...
Android百度AI植物识别教程,微信开发+百度AI学习：植物识别(示例代码)
直接上代码服务端代码如下 private static readonly Baidu.Aip.ImageClassify.ImageClassify client = new Baidu.Aip.I ...
python通信信号处理_python学习笔记——信号模块signal(示例代码)
基于python学习笔记--多进程间通信--Linux信号基础的学习基础,进一步学习Python标准库中的signal模块. 尽管signal是python中的模块,但是主要针对UNIX平台(比如Li ...
android 类似金山词霸每日一句源代码 csdn,个人作业2——英语学习APP案例分析(示例代码)...
第一部分调研, 评测软件:微软必应词典(Android客户端) 版本:5.5.2 第一次上手体验: 整体界面上还算简洁,功能也算完全,但是并没有什么特别吸引我的地方.就我个人而言,如果不是这次作业 ...
Pandas学习笔记（包括示例代码、运算结果及详细注释）
1.Series 2.DataFrame的简单运用 3.pandas选择数据 3.1 实战筛选 3.2 筛选总结 4.Pandas设置值 4.1 创建数据 4.2 根据位置设置loc和iloc 4.3 ...
广告行业中那些趣事系列59：详解当前大火的提示学习prompt learning
导读:本文是"数据拾光者"专栏的第五十九篇文章,这个系列将介绍在广告行业中自然语言处理和推荐系统实践.本篇主要从理论到实践介绍了当前超火的提示学习Prompt Learning,对 ...
微软发布Sample Browser for Windows 8版：5000示例代码，触手可及
微软Sample Browser for Windows 8 第一版今天在Windows应用商店正式发布.5000示例代码,"触手可及". Sample Browser的昨天.今天 ...
综述！Prompt 学习和微调(Prompt Learning and Tuning)
作者丨Jarvis73 整理丨极市平台 https://zhuanlan.zhihu.com/p/601905339 大家好,这里是 NewBeeNLP. Self-Attention 和 Trans ...

prompt learning 提示学习初步心得及示例代码

prompt learning 提示学习初步心得及示例代码相关推荐

最新文章

热门文章

prompt learning 提示学习初步心得及示例 代码

prompt learning 提示学习初步心得及示例 代码相关推荐

最新文章

热门文章

prompt learning 提示学习初步心得及示例代码

prompt learning 提示学习初步心得及示例代码相关推荐