Abstract

本文主要解决领域适应问题，即在几个源领域上训练算法，使其可以应用到未知领域的样本上。
PADA：An example-based autoregressive Prompt learning algorithm for
on-the-fly Any-Domain Adaptation
- 基于 T5 模型
- 给定一个测试样本，PADA 首先生成一个唯一的 prompt，然后基于这个 prompt，使用 NLP 预测任务对前述样本进行打标。
- PADA 的训练目标：生成由不限长度的 token 序列组成的 prompt. 这个 prompt 中包含 领域相关特征 DRFs (Domain Related Features)
  - DRF 刻画了每个 source domains
  - 直觉上来说，生成的 prompt 是给定样本的唯一签名，并将其映射到了由 source domains 组成的语义空间
在三个任务（text classification and sequence tagging）上实验，14 个多源适配场景下 PADA 均超过强基线。
代码：https://github.com/eyalbd2/PADA

PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains相关推荐

NLP千亿预训练模型的“第四范式”之Prompt Learning介绍分享
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达论文转载自知乎专栏:ai炼丹师作者:避暑山庄梁朝伟一.背景随着GPT-3诞生,最 ...
NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理
作者 | 杨浩 @阿里达摩院研究方向 | 自然语言处理整理 | Paperweekly 背景随着 GPT-3 诞生,最大的版本多达 1750 亿参数,是 BERT-BASE 的一千多倍.事实上 ...
seed+transformer+finetune+图文融合+VLP+Prompt Learning整合
1.Seed 在神经网络中,参数默认是进行随机初始化的.不同的初始化参数往往会导致不同的结果,如果不设置的话每次训练时的初始化都是随机的,导致结果不确定.当得到比较好的结果时我们通常希望这个结果是可以 ...
prompt learning
CLIP(Learning Transferable Visual Models From Natural Language Supervision) CLIP是OpenAI的一个非常经典的工作,从网 ...
Prompt learning系列之入门篇
提纲 1 简介 2 NLP发展的四个阶段 3 Prompt learning 4 Prompt engineering 5 Answer engineering 6 Multi-prompt lear ...
【ICLR 2023】Diffusion Models扩散模型和Prompt Learning提示学习：prompt-to-prompt
Diffusion Models专栏文章汇总:入门与实战前言:今年prompt learning提示学习和diffusion models扩散模型实在是太火了,最新的ICLR 2023的一项工作把两 ...
prompt learning 提示学习初步心得及示例代码
先看下简单的情感分类示例 : 基于prompt learning的情感分类示例代码_znsoft的博客-CSDN博客 NLP 目前为止经历了四个阶段: 1. 完全监督机器学习 2. 完全监督深度神经网 ...
广告行业中那些趣事系列59：详解当前大火的提示学习prompt learning
导读:本文是"数据拾光者"专栏的第五十九篇文章,这个系列将介绍在广告行业中自然语言处理和推荐系统实践.本篇主要从理论到实践介绍了当前超火的提示学习Prompt Learning,对 ...
prompt learning受控文本生成作诗
prompt learning是什么小样本学习难点在于: 1.数据量较少,比如10-16个样本 2.fintune后接后置任务模型层,参数比较多可以把这个问题看成是矩阵求解时候的,函数参数比较多. ...

PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains

Abstract

PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains相关推荐

最新文章

热门文章