深入了解视觉语言模型

来自：Hugging Face

进NLP群—>加入NLP交流群

人类学习本质上是多模态 (multi-modal) 的，因为联合利用多种感官有助于我们更好地理解和分析新信息。理所当然地，多模态学习的最新进展即是从这一人类学习过程的有效性中汲取灵感，创建可以利用图像、视频、文本、音频、肢体语言、面部表情和生理信号等各种模态信息来处理和链接信息的模型。

自 2021 年以来，我们看到大家对结合视觉和语言模态的模型 (也称为联合视觉语言模型) 的兴趣越来越浓，一个例子就是 OpenAI 的 CLIP。联合视觉语言模型在非常具有挑战性的任务中表现出了让人眼前一亮的能力，诸如图像标题生成、文本引导图像生成、文本引导图像操作以及视觉问答等。这个领域在不断发展，其零样本泛化能力也在不断改进，从而产生了各种实际应用。

OpenAI CLIP 链接:
https://openai.com/blog/clip/

本文，我们将介绍联合视觉语言模型，重点关注它们的训练方式。我们还将展示如何利用

深入了解视觉语言模型相关推荐

【南洋理工-CVPR2022】视觉语言模型的条件提示学习
来源:专知本文为论文,建议阅读5分钟一种名为上下文优化(CoOp)的方法将提示学习的概念引入视觉领域,以适应预训练的视觉语言模型. 随着功能强大的预训练视觉语言模型(如CLIP)的兴起,研究如何使 ...
CVPR 2022 | 阿里华科提出：针对场景文本检测的视觉语言模型预训练
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:CSIG文档图像分析与识别专委会本文简要介绍了发表于CV ...
清华刘知远提出CPT：基于预训练视觉-语言模型的跨模态Prompt-Tuning
每天给你送来NLP技术干货! 论文:CPT:Colorful Prompt Tuning for Pre-Training Vision-Language Models 状态:Work in Prog ...
【预训练视觉-语言模型文献阅读】VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS（ICLR 2020）
[预训练视觉-语言模型文献阅读]VL-BERT: PRE-TRAINING OF GENERIC VISUAL- LINGUISTIC REPRESENTATIONS(ICLR 2020) 文章目录 ...
【预训练视觉-语言模型文献阅读文献阅读】最新BERT模型——UNITER: UNiversal Image-TExt Representation Learning
[预训练视觉-语言模型文献阅读文献阅读]最新BERT模型--UNITER: UNiversal Image-TExt Representation Learning 文章目录 [预训练视觉-语言模型文 ...
Talk预告 | 微软高级研究员杨征元：统一的视觉语言模型
本期为TechBeat人工智能社区第467期线上Talk! 北京时间12月29日(周四)20:00,微软高级研究员--杨征元的Talk将准时在TechBeat人工智能社区开播! 他与大家分享的主题是: ...
【多模态】19、RegionCLIP | 基于 Region 来实现视觉语言模型预训练
文章目录一.背景二.方法 2.1 Region-based Language-Image Pretraining 2.2 目标检测的迁移学习三.效果 3.1 数据集 3.2 实现细节 3.3 结 ...
ICLR 2020| VL-BERT：预训练视觉-语言模型
今天介绍中国科学技术大学和微软亚洲研究院朱西洲老师团队在ICLR2020的论文,该研究提出了一种新的图形神经网络的几何聚合方式,其核心思想是:在bert的基础上为视觉-语言相关任务做预训练. VL-B ...
超越CLIP！谷歌发布首个大规模MoE架构的视觉语言模型
文 | 明敏(发自凹非寺) 源 | 量子位多模态模型常见,但是基于稀疏化的还是头一个.谷歌带来最新成果LIMoE,首次将稀疏化方法用在了图像文本混合模型上.要知道,随着大模型参数呈指数级增加,训练成 ...

深入了解视觉语言模型

深入了解视觉语言模型相关推荐

最新文章

热门文章