多模态模型 CLIP4Clip 带你实现文本与视频互搜

出品人：Towhee 技术团队

CLIP4Clip 以跨模态图文模型 CLIP 为基础，成功地实现了文字/视频检索任务。无论是由文字寻找相关内容视频，还是自动为视频匹配最合适的描述，CLIP4Clip 都能帮你做到。通过大量的消融实验，CLIP4Clip 证明了自己的有效性，并在 MSR-VTT、MSVC、LSMDC、ActivityNet 和 DiDeMo 等文本-视频数据集上实现了 SoTA 结果。

CLIP4Clip: Main Structure

CLIP4Clip 基于预训练好的图文模型，通过迁移学习或者微调完成视频检索的任务。它使用预训练的CLIP 模型作为主干网络，解决了从帧级输入的视频片段检索任务，并使用了无参数类型、序列类型和紧密类型相似性计算器来获得最终结果。

相关资料：

模型用例: video-text-embedding/clip4clip
论文: CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval
更多资料： CLIP4Clip: CLIP 再下一城，利用CLIP实现视频检索

更多项目更新及详细内容请关注我们的项目( https://github.com/towhee-io/towhee/blob/main/towhee/models/README_CN.md) ，您的关注是我们用爱发电的强大动力，欢迎 star, fork, slack 三连 :)

zilliz用户交流

多模态模型 CLIP4Clip 带你实现文本与视频互搜相关推荐

文本生成视频Make-A-Video，根据一句话就能一键生成视频 Meta新AI模型
Meta公司(原Facebook)在今年9月29日首次推出一款人工智能系统模型:Make-A-Video,可以从给定的文字提示生成短视频. Make-A-Video研究基于文本到图像生成技术的最新进展 ...
清华BAAI唐杰团队提出第一个开源的通用大规模预训练文本到视频生成模型CogVideo，含94亿超大参数量！代码即将开源！...
关注公众号,发现CV技术之美我爱计算机视觉专业计算机视觉技术分享平台,"有价值有深度",分享开源技术与最新论文解读,传播视觉技术的业内最佳实践.知乎/微博:我爱计算机视觉,官网 ...
【论文阅读】多模态模型CoCa
Introduction 在这项工作中,我们统一了单编码器.双编码器和编码器-解码器范式,并训练了一个包含三种方法优点的图像-文本基础模型.我们提出了对比Captioner模型(CoCa),该模型采用 ...
谷歌最新多模态模型CoCa，多项任务取得SOTA效果，ImageNet达到91.0%
每天给你送来NLP技术干货! 来自:圆圆的算法笔记作者:Fareise 最近谷歌提出了最新多模态预训练方法CoCa,在图像分类.图文检索.看图说话.VQA等多个任务都取得了SOTA效果.CoCa可以 ...
多模态模型前沿研究（1）
1 ERNIE-ViL(百度,2021.3.,aaai) ERNIE-ViL是一个知识增强视觉-语言预训练模型,首次将场景图知识融入到多模态预训练中. 1.1 模型适用场景 ERNIE-ViL结合了从 ...
【NLP傻瓜式教程】手把手带你RCNN文本分类(附代码)
继续之前的文本分类系列 [NLP傻瓜式教程]手把手带你CNN文本分类(附代码) [NLP傻瓜式教程]手把手带你RNN文本分类(附代码) [NLP傻瓜式教程]手把手带你fastText文本分类(附代码) ...
【NLP傻瓜式教程】手把手带你HAN文本分类(附代码)
继续之前的文本分类系列 [NLP傻瓜式教程]手把手带你CNN文本分类(附代码) [NLP傻瓜式教程]手把手带你RNN文本分类(附代码) [NLP傻瓜式教程]手把手带你fastText文本分类(附代码) ...
【NLP傻瓜式教程】手把手带你fastText文本分类(附代码)
写在前面已经发布: [NLP傻瓜式教程]手把手带你CNN文本分类(附代码) [NLP傻瓜式教程]手把手带你RNN文本分类(附代码) 继续NLP傻瓜式教程系列,今天的教程是基于FAIR的Bag of ...
【NLP保姆级教程】手把手带你RNN文本分类(附代码)
写在前面这是NLP保姆级教程的第二篇----基于RNN的文本分类实现(Text RNN) 参考的的论文是来自2016年复旦大学IJCAI上的发表的关于循环神经网络在多任务文本分类上的应用:Recur ...

多模态模型 CLIP4Clip 带你实现文本与视频互搜

多模态模型 CLIP4Clip 带你实现文本与视频互搜相关推荐

最新文章

热门文章