林鳞编译整理
量子位出品 | 公众号 QbitAI

英伟达最近的一项研究看起来有点神奇。

一张普通的猫咪图像，可以被转换成一只老虎、一头狮子或一只美洲豹。

还是一张普通的猫咪图，还能被转换成不同品种的狗。

这种实时转换技术不仅能用于图像，还能用于视频——

这是英伟达最新创造的一项技术。在最近发布的论文Multimodal Unsupervised Image-to-Image Translation中，研究人员提出了一种多模态无监督的图像到图像（image to image）转换框架。

这个框架的神奇之处在于，一张猫的图像可以同时转换成多种动物，能够进行一对多的图像转换，打破了原来一对一转换的限制。

△ “狗生猫，猫生万物”

△ 冬夏场景转换

此外，这个框架还支持用户通过提供示例样式的图像控制转换输出的风格。

这是一项有趣的技术，不仅能够帮助游戏开发者和电影制作者减少工作量和花费，还能让自动驾驶领域更快、更容易地产生多样化的训练数据。

△ 道路的冬夏转换

论文介绍

在论文Multimodal Unsupervised Image-to-Image Translation中，奈尔大学的Xun Huang、Serge Belongie联合英伟达的Ming-Yu Liu与Jan Kautz提出了一种多模态无监督的图像到图像转换问题的标准框架。

研究人员首先假设图像的潜在空间能够分解为内容空间和样式空间，之后再进一步假设，不同领域的图像内容空间相同，但样式空间不同。

为了将一张图像转换为指定领域的图像，研究人员在目标样式空间中将图像的内容代码和随机的样式代码重新组合。这样，内容代码编码的信息在转换过程中将被保留，而样式代码代表了与输入图像无关的剩余的变体。

通过抽取不同风格的代码，这个模型可以输出风格多样且多模态的图像。

实验表明，这个模型在建立多模态输出分布时非常高效，并且和目前最先进的方法相比图像质量更高。

△ 与现有的样式转换模型的对比

这并不是英伟达在图像转换领域的首次探索，这篇论文是在去年英伟达的NIPS论文Unsupervised Image-to-Image Translation Networks中提出的模型基础上改进的。

相关资料

论文地址：

https://arxiv.org/abs/1804.04732

代码和预训练模型获取地址：

https://github.com/nvlabs/MUNIt

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

英伟达新研究：“狗生猫，猫生万物”的多模态无监督图像转换相关推荐

ICCV 2021 | 英伟达新研究：直接通过视频就能捕获3D人体动作！
丰色发自凹非寺来源:量子位(QbitAI) 不靠昂贵的动捕,直接通过视频也能提取3D人体模型然后进行生成训练: 英伟达这项最新研究不仅省钱,效果也不错-- 其合成的样本完全可以用在以往只在动捕数 ...
英伟达光追支持Java吗,英伟达新显卡驱动发布 GTX 10系显卡现已支持光追
英伟达新显卡驱动发布 GTX 10系显卡现已支持光追 2019-04-12 08:06:54来源:快科技编辑:血河评论(0) 在上个月的GDC 2019开发者大会上,NVIDIA许下承诺将会让&quo ...
又一新框架｜无监督图像转换任务新境界（附论文代码）
关注并星标从此不迷路计算机视觉研究院 2020 IEEE国际计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognit ...
英伟达新GPU发布：快到飞起，快到老黄瞬间学会了跳舞
栗子假装发自东京量子位报道 | 公众号 QbitAI △ 没办法,就是快快到飞起. 昨天,东京,"教主"黄仁勋发布了一枚新GPU:Tesla T4. 按照英伟达的说法, ...
英伟达新禁令：不能随便用GeForce显卡跑深度学习（挖矿可以）
维金允中发自凹非寺量子位出品 | 公众号 QbitAI 终于藏不住了. 正值西方国家欢度佳节之时,一份英伟达的surprise终于被发现. 是一条关于GeForce的禁令. 这款备受AI&q ...
定义为“AI计算公司”，业绩大幅下滑的英伟达新变量在哪？
关注ITValue,查看企业级市场最新鲜.最具价值的报道! 1999年,英伟达发明了 GPU,20年后今天,GPU让英伟达攀至行业顶峰. 然而,急速膨胀后潜藏的危机,也增加了这家明星公司的焦虑感. ...
告别视频通话“渣画质”，英伟达新算法最高压缩90%流量
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达来自 | 量子位为了让网速慢的用户用上高清通话,英伟达可谓绞尽脑汁.他们开发的新AI ...
英伟达新核弹GPU：4nm制程800亿晶体管，20张即可承载全球互联网流量，全新Hopper架构太炸了...
丰色萧箫发自凹非寺量子位 | 公众号 QbitAI 他来了他来了,老黄带着英伟达的最新一代GPU来了. 之前大家猜的5nm错了,一手大惊喜,老黄直接上了台积电4nm工艺. 新卡取名H100,采 ...
英伟达新卡皇3090Ti：功耗飙至450W换来性能涨11%
行早发自凹非寺量子位报道 | 公众号 QbitAI 就在正在召开的CES 2022上,英伟达推出了比"性能猛兽"3090更强悍的新一代旗舰显卡GeForce RTX 309 ...

英伟达新研究：“狗生猫，猫生万物”的多模态无监督图像转换

林鳞编译整理
量子位出品 | 公众号 QbitAI

论文介绍

相关资料

作者系网易新闻·网易号“各有态度”签约作者

英伟达新研究：“狗生猫，猫生万物”的多模态无监督图像转换相关推荐

最新文章

热门文章

英伟达新研究：“狗生猫，猫生万物”的多模态无监督图像转换

林鳞 编译整理 量子位 出品 | 公众号 QbitAI

论文介绍

相关资料

作者系网易新闻·网易号“各有态度”签约作者

英伟达新研究：“狗生猫，猫生万物”的多模态无监督图像转换相关推荐

最新文章

热门文章

林鳞编译整理
量子位出品 | 公众号 QbitAI