【南洋理工-CVPR2022】视觉语言模型的条件提示学习

来源：专知
本文为论文，建议阅读5分钟
一种名为上下文优化(CoOp)的方法将提示学习的概念引入视觉领域，以适应预训练的视觉语言模型。

随着功能强大的预训练视觉语言模型(如CLIP)的兴起，研究如何使这些模型适应下游数据集变得非常必要。最近提出的一种名为上下文优化(CoOp)的方法将提示学习的概念引入视觉领域，以适应预训练的视觉语言模型。具体来说，CoOp将提示中的上下文单词转换为一组可学习的向量，并且仅使用少量标记的图像进行学习，可以在经过大量调整的手动提示中实现巨大的改进。在我们的研究中，我们确定了CoOp的一个关键问题: 学习的上下文不能泛化到同一数据集内更广泛的不可见类，这表明在训练期间观察到的CoOp基类过拟合。为了解决这个问题，我们提出了条件上下文优化(CoCoOp)，它通过进一步学习一个轻量级神经网络来为每幅图像生成一个输入条件标记(向量)来扩展CoCoOp。与CoOp的静态提示相比，我们的动态提示适应每个实例，因此对类迁移不那么敏感。大量的实验表明，对于不可见的类，CoCoOp的泛化效果要比CoOp好得多，甚至在单个数据集之外还显示出很好的可迁移性; 具有较强的域泛化性能。代码可在https://github.com/ KaiyangZhou/CoOp

https://www.zhuanzhi.ai/paper/8fc04028caefdfdb427ca26bc1005d6e

【南洋理工-CVPR2022】视觉语言模型的条件提示学习相关推荐

CVPR 2022 | 阿里华科提出：针对场景文本检测的视觉语言模型预训练
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:CSIG文档图像分析与识别专委会本文简要介绍了发表于CV ...
清华刘知远提出CPT：基于预训练视觉-语言模型的跨模态Prompt-Tuning
每天给你送来NLP技术干货! 论文:CPT:Colorful Prompt Tuning for Pre-Training Vision-Language Models 状态:Work in Prog ...
【预训练视觉-语言模型文献阅读文献阅读】最新BERT模型——UNITER: UNiversal Image-TExt Representation Learning
[预训练视觉-语言模型文献阅读文献阅读]最新BERT模型--UNITER: UNiversal Image-TExt Representation Learning 文章目录 [预训练视觉-语言模型文 ...
【多模态】19、RegionCLIP | 基于 Region 来实现视觉语言模型预训练
文章目录一.背景二.方法 2.1 Region-based Language-Image Pretraining 2.2 目标检测的迁移学习三.效果 3.1 数据集 3.2 实现细节 3.3 结 ...
【预训练视觉-语言模型文献阅读】VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS（ICLR 2020）
[预训练视觉-语言模型文献阅读]VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS(ICLR 2020) 文章目录 ...
深入了解视觉语言模型
来自:Hugging Face 进NLP群->加入NLP交流群人类学习本质上是多模态 (multi-modal) 的,因为联合利用多种感官有助于我们更好地理解和分析新信息.理所当然地,多模态学 ...
勤哲服务器网页填报,勤哲excel服务器按条件提示必填|必填条件_勤哲App应用之家...
按条件提示必填更新日期:2018年7月10日勤哲excel服务器里有个字段必填功能,意思就是报表填写的时候这个字段的内容必须填写,不然不能保存.比如勤哲的示例应用sample里的客户登记表,就设置 ...
南洋理工 55 懒省事的小明
懒省事的小明时间限制:3000 ms | 内存限制:65535 KB 难度:3 描述小明很想吃果子,正好果园果子熟了.在果园里,小明已经将所有的果子打了下来,而且按果子的不同 ...
Talk预告 | 微软高级研究员杨征元：统一的视觉语言模型
本期为TechBeat人工智能社区第467期线上Talk! 北京时间12月29日(周四)20:00,微软高级研究员--杨征元的Talk将准时在TechBeat人工智能社区开播! 他与大家分享的主题是: ...

【南洋理工-CVPR2022】视觉语言模型的条件提示学习

【南洋理工-CVPR2022】视觉语言模型的条件提示学习相关推荐

最新文章

热门文章