英伟达发布新型GAN,豹子秒变沙皮狗!| 技术头条
作者 | 刘静
编译 | 李尔客
转自自图灵TOPIA(ID:turingtopia)
5月9日,英伟达首席研究科学家刘明宇在社交网站公布了其最新研究成果:一种新型的GAN,在测试期间只需几张示例图像,就可以将图像转换为以前从未见过的对象类型。GAN之父Ian Goodfellow也对其进行了转发支持。
人类在泛化方面非常擅长。
当给出一张以前看不见的外来动物的照片时,我们可以用不同的姿势形成同一动物的生动的心理图像,特别是当我们在之前的姿势中遇到过相似但不同的动物(图像)时。
例如,一个人第一次看到一只站立的老虎,我们可以毫不费力地想象它躺下来的样子。
同时,也很容易获得一种伴认知泛化能力,即其他的动物躺下来会是什么样子。
对于现有无监督图像到图像的转换算法,虽然已经在跨图像类转换复杂的外观变化方面非常成功,但基于先验知识从新类的少数样本泛化的能力完全超出了它们的范围。 具体地说,仍然在两个方面受到限制:
首先,模型通常需要在训练期内看到来自目标类的大量图像。
其次,在测试期内,不能将用于转换任务的训练模型重新用于另一转换任务。
简言之,现有的算法不支持小样本泛化。
为了弥合人机与机器想象能力之间的差距,最近英伟达的研究人员提出了几个无监督的图像到图像转换框架(FUNIT)来解决上述限制。
在训练时,FUNIT模型会学习在从一组源类中采样的任何两个类之间转换图像。
在测试时,模型会显示一些它从未见过的目标类的图像。该模型利用这些少量示例图像将源类的输入图像转换为目标类。
首先假设人类的小样本泛化能力是从他们过去的视觉经验中发展出来的 - 如果一个人在过去看过更多不同的对象类别,他们可以更好地想象一个新对象的视图。
基于该假设,研究人员使用包含许多不同对象类的图像的数据集来训练FUNIT模型,以模拟过去的视觉体验。具体来说,他们通过利用另一个类的少量示例图像来训练模型以将图像从一个类转换为另一个类。
假设通过学习从用于翻译任务的少数示例图像中提取外观模式,该模型学习了一种可推广的外观模式提取器,其可以在测试时应用于看不见的类的图像,用于少数镜头到图像到图像的转换任务。
左:训练。 训练集由各种对象类(源类)的图像组成。 我们训练模型来在这些源对象类之间转换图像。右:部署。 我们向训练模型显示目标类的极少数图像,这足以将源类的图像转换为目标类的类似图像,即使模型在训练期间从未见过来自目标类的单个图像。
请注意,FUNIT生成器需要两个输入:1)内容图像(红色线圈选)和2)一组目标类图像(绿色线圈选)。 它旨在生成类似于目标类图像的输入图像的转换。
架构及转换过程
框架基于生成对抗网络(GAN),实验表明,通过将对抗性训练方案与新颖的网络设计相结合,研究人员实现了所需的几次无人监督的图像到图像转换能力。 通过对三个数据集的广泛实验验证,包括使用各种性能指标与几种基线方法的比较,验证了框架的有效性。
少样本无监督的图像到图像转换示例
研究人员展示了动物面部转换,鸟类转换,花卉转换和食物转换的结果。对于每个例子,
y1和y2是测试期间可用的目标类的少数示例图像,
x是源类的输入图像,
x bar是从源类到目标类的转换。
模型能够将豹子转换成沙皮狗,即使它在训练期间从未见过单一的沙皮狗图像。
动物面部转换
鸟类转换
花卉转换
食物转换
结果表明,在训练过程中,当模型没有看到任何目标类的图像时,FUNIT可以基于小样本集生成可信的转换输出。
我们注意到输出图像中的对象与输入具有相似的姿势。
框架的局限性
当看不见的对象类的外观与源类的外观(例如花和动物的面部)显着不同时。 拟议的FUNIT框架未能产生有意义的转换输出。
论文摘要
无监督的图像到图像的转换方法,是指学习利用图像的非结构化(未注册)数据集,将给定类中的图像映射到不同类中的类似图像。
虽然非常成功,但是当前的方法需要在训练时访问源类和目标类中的许多图像。 我们认为这极大地限制了它们的使用。
人类通常具有可以从少数例子中找到新物体本质的能力,研究人员以此为灵感并加以推广,他们寻求一种小样本的、无监督的图像到图像的转换算法,该算法适用于以前从未见过的目标类别。 在测试时仅指定几个示例图片,该模型通过将对抗训练方案与新颖的网络设计相结合,实现了这种小样本的泛化能力。 通过广泛的实验验证和与基准数据集的几种基线方法的比较,验证了所提出框架的有效性。
代码:
https: //nvlabs.github.io/FUNIT
Demo:
https://nvlabs.github.io/FUNIT/petswap.html
论文:
https://arxiv.org/pdf/1905.01723.pdf
(本文为 AI科技大本营转载文章,转载请联系原作者)
◆
CTA核心技术及应用峰会
◆
5月25-27日,由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开,峰会将围绕人工智能领域,邀请技术领航者,与开发者共同探讨机器学习和知识图谱的前沿研究及应用。
更多重磅嘉宾请识别海报二维码查看,目前会议早鸟票发售中(原票价1099元),点击阅读原文即刻抢购。添加小助手微信15101014297,备注“CTA”,了解票务以及会务详情。
推荐阅读
人工智能的浪潮中,知识图谱何去何从?
从Pixel 3a到Android Q,一份谷歌AI能力的“成绩单” | Google I/O全程回顾
Python datetime指南:教你如何处理日期和时间(附试题+答案)
从小白到入门算法,我的经验分享给你~
开了个会:破局企业云通信,华为加速 Buff 开发者!
独家! 币安被盗原因找到了! 7074枚比特币竟是这样丢掉的
保送清华成博士,华为 12 年搞通信,他为何如此看待 5G ?| 人物志
补偿100万?Oracle裁900+程序员,新方案已出!
什么叫云原生应用?| 技术头条
@程序员,不加班就滚吧 | 程序员有话说
英伟达发布新型GAN,豹子秒变沙皮狗!| 技术头条相关推荐
- 2002年3月英伟达发布核弹GPU与大算力自动驾驶芯片
2002年3月英伟达发布核弹GPU与大算力自动驾驶芯片 英伟达核弹级GPU:800亿晶体管,20块承载全球互联网流量 2022年3 月 22 日,在英伟达 GTC2022 上,英伟达介绍了 Hoppe ...
- 英伟达发布“空气CPU”,Arm架构专为AI而生,性能超x86十倍,与自家GPU更搭
梦晨 晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 30系显卡买不到?英伟达老黄刚刚又发布一款"空气CPU". 不过就算你抢不到也没关系,因为这款CPU专门为服务器 ...
- AI算力霸主诞生!英伟达发布首款安培架构GPU,性能提升20倍
来源:雷锋网 由于疫情缘故,本该在今年3月英伟达(NVIDIA)GTC 2020上发布的安培(Ampere)架构曝光多次却一直未发布. 5月15日,英伟达CEO黄仁勋发布了英伟达新一代GPU架构安培, ...
- 刚刚,英伟达发布最强无人车AI芯片,以及一系列自动驾驶新产品
夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 英伟达再次带来新"核弹". 在刚刚结束的英伟达发布会上,黄仁勋正式发布了DRIVE Xavier,这是一款为无人车准备的 ...
- AI一周热闻:华为年收入突破千亿美元;英伟达发布城市监控数据集
何恺明.陈鑫磊提出实例分割框架TensorMask,媲美Mask R-CNN 无人车创企RoadStar.ai进入清盘阶段 华为年报:总收入突破千亿美元大关,研发支出过千亿人民币 明略数据完成20亿元 ...
- 仅售99美元!英伟达发布最小AI计算机Jetson Nano
3月17日,GTC 2019来了,英伟达CEO黄仁勋的主题演讲放在了北京时间3月19日的上午5:00.还是熟悉的皮夹克,还是熟悉的黄教主.与往年有些不同的是,英伟达此次是带着"翻身" ...
- 英伟达发布业绩预警后股价暴跌13%,又是中国市场的锅...
本周一,英伟达发布业绩预警,将第四季度营收预估下调5亿美元,股市开盘后英伟达股价一度暴跌17%以上,最终收盘股价为138.01美元,下跌13.82%.过去52周,英伟达股最高为292.76美元,最低为 ...
- AI一分钟 | 英伟达发布Tesla T4 GPU新品;腾讯发布《2018 年全球自动驾驶法律政策研究报告》...
▌英伟达宣布 Tesla T4 GPU 新品:基于图灵架构,加速 AI 运算 近日,英伟达发布了一款专为 AI 推理工作而设计的显卡,它就是可以加速语音.视频.搜索引擎.图像神经网络的 Tesla T ...
- 英伟达发布全球唯一千万亿级集成型 AI 工作组服务器
IT之家 11 月 17 日消息 今天,英伟达发布全球唯一的千万亿级工作组服务器 NVIDIA DGX Station A100,配备四个 NVIDIA A100 GPU,具有高达 320GB 的 G ...
最新文章
- SQL SERVER DBCC 命令集整理
- 在 centos6 上安装 LAMP
- *ctf box题解
- 带有示例的Python File readlines()方法
- 如何定制Activity的标题栏
- mysql linux root密码忘记了怎么办_linux下忘记mysql root密码解决办法
- 错排问题(以航电OJ 2048 为例)
- 网站文件系统发展分布式文件系统fastDFS
- 王者峡谷一呼百应,弹幕“666”,背后都离不开长连接,如何实现千万级高性能的长连接网关?...
- thinkphp group count连用
- 几个经常用到的字符串的截取(java)
- Axure8.0 安装 汉化 简单使用
- ansys软件linux安装教程,ansys 15 for linux 安装纪录
- 中药知多少!!!!!
- CSS HTML 实现虚线横线分隔线
- mysql为什么用B+树
- RTI路由服务---跨多个平台,系统和网络扩展和集成DDS系统
- 物联网毕业设计 stm32远程智能浇花灌溉系统 - 单片机 嵌入式
- 数据分析必备十大方法!入门新手先学为快
- SQL语句报错:1062, “Duplicate entry ‘XXX‘ for key ‘XXX‘