ERNIE-ViL-理解

https://gitee.com/AI-Mart/ERNIE/tree/repro/ernie-vil

ERNIE-ViL 是面向视觉-语言任务的知识增强预训练框架，首次在视觉-语言预训练中引入了结构化的知识。ERNIE-ViL利用场景图中的结构化知识，构建了物体预测，属性预测，关系预测三种预训练任务，精细地刻画了视觉-语言模态之间细粒度语义的对齐，从而获得了更好的视觉-语言联合表示。

模型框架
基于文本中解析出的场景图，ERNIE-ViL提出了三个多模态场景图预测任务：

物体预测：随机选取图中的一部分物体，然后对其在句子中对应的词进行掩码和预测；
属性预测：对于场景图中的属性-物体组合，随机选取一部分词对其中属性词进行掩码和预测；
关系预测：对于场景图中的物体-关系-物体三元组，对其中的关系词进行掩码和预测。

ERNIE-ViL-理解相关推荐

本周AI热点回顾：最强的目标检测网络开源、ERNIE动静合一全新升级、假笑再也不能骗到AI了
01 54.7 AP!最强的目标检测网络:DetectoRS(已开源) 许多现代目标检测器通过使用两次looking和thinking的机制,表现了出色的性能.在本文中,作者探索了用于目标检测的bac ...
万字深度好文！视觉-语言（VL）智能：任务、表征学习和大型模型
来源:AI科技评论编译:Jocelyn 编辑:陈彩娴本文对视觉-语言(VL)智能按时间顺序进行了全面调研,并将这一领域的发展总结为三个阶段: 第一个阶段是2014-2018年,其间,专门的模型被设 ...
万字深度好文！VL最强总结！
点击机器学习算法与Python学习 ,选择加星标精彩内容不迷路本文转自AI科技评论本文对视觉-语言(VL)智能按时间顺序进行了全面调研,并将这一领域的发展总结为三个阶段: 第一个阶段是2014 ...
《预训练周刊》第66期：智源2022大模型创新论坛、 ChatGPT手把手debug代码、AI与物理的交融...
No.66 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
视频与图片检索中的多模态语义匹配模型 ——原理、启示、应用与展望
前言三多前笔者在<万字长文漫谈视频理解>[1]一文中,曾经将自己对视频理解的认识进行过简单总结,幸而获得了朋友们的认可,能让读者认可是笔者最为骄傲的成就.现在看来文中观点有不少纰漏狭隘之 ...
百度集团副总裁吴甜发布文心大模型最新升级，AI应用步入新阶段
11月30日,由深度学习技术与应用国家工程研究中心主办.百度飞桨承办的WAVE SUMMIT+2022深度学习开发者峰会如期举行.百度集团副总裁.深度学习技术及应用国家工程研究中心副主任吴甜带来了文心 ...
大模型，化繁为简归文心
大模型,已经变成今天AI产业最为关注.最受期待的技术方向,甚至没有之一. 其原因在于,大模型带来了强大的泛化能力以及优异的效果,并且能够实现AI模型研发-部署-应用的标准化提升.这些价值与各界对AI工 ...
瞄准自然语言处理，百度与鹏城实验室共建实验室
4月16日,百度与鹏城"自然语言处理联合实验室"签约暨揭牌仪式在鹏城实验室举行. 中国工程院院士.鹏城实验室主任高文出席仪式并致辞,鹏城实验室人工智能研究中心主任李革教授和百度集团 ...
NLP界的「MVP」再次夺冠，刷新GLUE榜单
视学算法发布机器之心编辑部刷新多项任务分数,百度自研的语义理解技术与平台文心 ERNIE 再次登上了 GLUE 的榜首. 近日,自然语言处理领域权威排行榜--GLUE(通用语言理解评估基准)新排名 ...
是什么给了150万开发者拥抱深度学习的底气？
导语:飞桨真正意义上开始走向工业级成熟. 在企业数字化转型的浪潮中,对于AI等新技术的应用,先进与落后的企业之间,会有多大的差异? 与南方电网广东能源技术公司过去一年的合作中,百度为其提供全方位的AI ...

ERNIE-ViL-理解

ERNIE-ViL-理解相关推荐

最新文章

热门文章