为什么说GAN很快就要替代现有摄影技术了?
https://www.toutiao.com/a6667315818692346382/
【新智元导读】自GAN诞生以来,在计算机视觉领域中表现可谓是惊艳连连:文本-图像转换、域迁移、图像修复/拓展、人脸合成甚至是细微表情的改变,无所不能。本文对此进行了盘点,并且作者表示:GAN很快就可能替代现有的摄影技术了!
AI生成的图像可能会取代现有的摄影技术。
许多人当听到“人工智能”、“机器学习”或者“bot”的时候,首先浮现在脑海当中的应当是科幻片中经常出现、未来感十足的既会走路又会说话的机器人。
但事实并非如此!人工智能已经“潜伏”在我们身边很多年了。现在就有可能在你的智能手机里(Siri/谷歌语音助手)、汽车GPS系统里。
然而,在过去几年中,没有哪个域比计算机视觉更受其影响。
随着科技的发展,具有超高分辨率视觉吸引力的图像变得越来越普遍。人们不再需要学习如何使用Photoshop和CorelDRAW等工具来增强和修改图像,因为AI可以在这些方面产生最佳效果的图像。然而,最新提出的想法实际上是综合使用AI来生成图像。
以往我们所看到的所有图像,其生成过程肯定都或多或少有“人”的参与。但是试想一下,一个计算机程序可以从零开始绘制你想要它绘制的任何内容,在不久的将来,你只需要给它一些指令,例如“我想要一张站在埃菲尔铁塔旁边的照片”,然后图像就生成了(当然,你的输入要准确)!
生成对抗网络(GAN)
“在机器学习过去的10年里,GAN是最有趣的一个想法。”
——Yann LeCun
生成这种合成图像的基础就是生成对抗网络(GAN)。
自从Ian Goodfellow和他的同事在2014年发现并推出他们的研究论文以来,GAN一直是深度学习中最迷人且被最广泛使用的技术之一。这项技术无穷无尽的应用,也就是所谓对抗性训练的核心,不仅包括计算机视觉,还包括数据分析、机器人技术和预测模型。
那么,GAN有什么了不起的呢?
生成性对抗网络属于一组生成模型。 这意味着他们的工作是在完全自动化的过程中创建或“生成”新数据的。
lan Goodfellow论文中生成的图像。
地址:https://arxiv.org/abs/1406.2661
顾名思义,GAN实际上由两个相互竞争的独立神经网络组成(以对抗的方式)。其中一个神经网络称为生成器,从随机噪声中生成新的数据实例;另一个神经网络称为鉴别器,它会对这些实例进行真实性评估。换言之,鉴别器决定它检查的每个数据实例是否属于实际的训练数据集。
一个简单的例子
假设你的任务就是高仿一幅著名画作。但不幸的是,你并不知道这位艺术家是谁,也没有见过他的画作。但你的任务就是高仿它,并作为原作之一在拍卖会上展出。
你只有一些颜料和画布。但是拍卖商不希望随意出售作品,所以他们雇了一名侦探来对画作辨别真伪。侦探手中有这幅名作的真迹,所以若是你随意拿出一个作品,侦探立刻就能知道你的画作是赝品(甚至完全不同)。
当侦探拒绝了一次之后,你会再去创作一个作品。但是通过这次经验,你会通过侦探得到一些提示(这些提示有关真迹画作应该是什么样子)。
当你再次尝试的时候,画作会比第一次好一些。此时,侦探还是不相信这是真迹,于是你在又得到一些提示的情况下,再次尝试,以此类推。直到你画了1000次,侦探拿着你的高仿作品,已然不知道哪幅画是真迹了。
GAN的工作流程是什么?
将上述的思维过程应用于神经网络组合,GAN的训练过程包括以下步骤:
GAN的基本框架。
地址:https://medium.freecodecamp.org/an-intuitive-introduction-to-generative-adversarial-networks-gans-7a2264a81394
- 最开始,发生器接收一些随机噪声并将其传递给鉴别器;
- 因为鉴别器已经访问了真实图像的数据集,所以它将这些真实数据集与从生成器接收到的图像进行比较,并评估其真实性;
- 由于初始图像只是随机噪声,它将被评估为“假”;
- 生成器通过不断改变参数,开始生成更好的图像;
- 随着训练的进行,生成假图像的生成器和检测它们的鉴别器会变得越发的智能;
- 最后,生成器设法创建一个与真实图像数据集中的图像难以区分的图像。此时,鉴别器便无法分辨给定的图像是真还是假;
- 此时,训练结束,生成的图像就是我们想要的最终结果。
我们自己的GAN生成汽车标志图像的过程。
优点和缺点
与其它技术一样,GAN也有自身的优缺点。
下面是GAN的一些潜在优势:
- GAN并不总是需要带标签的样本来训练;
- 它们更容易训练依赖于蒙特卡罗(Monte Carlo)近似的对数分割函数梯度的生成模型。 由于蒙特卡罗方法在高维空间中不能很好地工作,这样的生成模型不能很好地执行像使用ImageNet进行训练的现实任务。
- 他们没有引入任何确定性偏差。 像变分自动编码器这样的某些生成方法会引入确定性偏差,因为它们优化了对数似然的下界,而不是似然本身。
同样,GAN也有它的缺点:
- GAN特别难训练。这些网络试图优化的函数是一个本质上没有封闭形式的损失函数。因此,优化这一损失函数是非常困难的,需要在网络结构和训练协议方面进行大量的反复试验;
- (特别是)对于图像生成,没有适当的措施来评估准确性。 由于合成图像可以通过计算机本身来实现,因此实际结果是一个非常主观的主题,并且取决于人类观察者。 相反,我们有起始分数和Frechet初始距离等功能来衡量他们的表现。
GAN的应用
最有趣的部分来了!
我们可以用GAN做的所有惊人的东西。 在它所有潜在用途中,GAN已经在计算机视觉领域中实现了大量应用。
文本-图像转换
这个概念有许多实验的方法,例如TAC-GAN(文本条件辅助分类器生成对抗网络)。
左:TAC-GAN的结构示意图。右:将一行文本输入网络所产生的结果。
域迁移(Domain Transfer)
GAN在风格转换等概念中很受欢迎。:
它包括使用称为CGAN(条件生成对抗网络)的特殊类型的GAN进行图像到图像的转换。
绘画和概念设计从未如此简单。
然而,虽然GAN可以从它的草图中完成像钱包这样简单的绘图,但绘制更复杂的东西,如完美的人脸,目前还不是GAN的强项。
CGAN pix2pix的实验结果
Image Inpaintinng(图像修复)/Image Outpainting(图像拓展)
生成网络的两个非常激动人心的应用是:图像修复(Inpainting)和图像拓展(Outpainting)。
第一种包括在图像中填充或噪声,这可以看作是图像的修复。例如,给定一个残缺的图像,GAN能够以“passable”的方式对其进行纠正它。
另一方面,图像拓展涉及到使用网络自身的学习来想象一个图像在当前边界之外可能会是什么样子。
左:图像修复结果;右:图像拓展结果。
人脸合成
由于生成网络的存在,使得人脸合成成为了可能,这涉及到从不同角度生成单个人脸图像。
这就是为什么面部识别不需要数百个人脸样本,只需要用一个样本就能识别出来的原因。
不仅如此,生成“人造人脸”也变得可能。 NVIDIA最近使用他们的GAN 2.0在Celeba Hq数据集上生成了高清分辨率的人造人脸,这是高分辨率合成图像生成的第一个例子。
用Progressive GAN生成想象中的名人面孔。
GANimation
GAN使得诸如改变面部运动这样的事情也成为可能。GANimation是一项使用PyTorch的研究成果,它将自己定义为“从一张图像中提取具有解剖学意义的面部动画”。
GANimation官方实现。
地址:https://www.albertpumarola.com/research/GANimation/index.html
绘画-照片转换
利用GAN使图像变得更逼真的另一个例子是简单地将绘画变成照片。
这是使用称为CycleGAN的特殊类型的GAN完成的,它使用两个发生器和两个鉴别器。
我们把一个发生器称为G,它把图像从X域转换成Y域。另一个生成器称为F,它将图像从Y转换为X。每个生成器都有一个对应的鉴别器,该鉴别器试图将其合成的图像与真实图像区分开来。
CycleGAN的结果。
地址:https://github.com/junyanz/CycleGAN
GAN是一把双刃剑
机器学习和GAN肯定会在不久的将来对成像和摄影产生巨大影响。
目前,该技术能够从文本输入生成简单图像。 然而,在可预见的未来,它不仅能够创建高分辨率的精确图像,还能够创建完整的视频。
想象一下,只需要简单地将脚本输入到GAN中,便可以生成一部电影。 不仅如此,每个人都可以使用简单的交互式应用程序来创建自己的电影(甚至可以自己主演!)。
当然,技术是一把双刃剑。
若是这么好的技术被坏人利用,后果是不堪设想的。完美的假图像还需要一种方法来识别和检测它们,我们需要对这类图像的产生进行管制。
目前,GAN已经被用于制作虚假视频或“Deepfakes”,这些视频正以消极的方式被使用着,例如生成名人假的不良视频或让人们在不知情的情况下“被发表言论”。
音频、视频合成技术使用不良手段造成传播后的结果将是非常可怕的。
原文链接:
https://medium.com/sfu-big-data/ai-the-future-of-photography-c7c80baf993b
为什么说GAN很快就要替代现有摄影技术了?相关推荐
- 转:为什么说GAN很快就要替代现有摄影技术了?
收藏一下 https://mp.weixin.qq.com/s/zvEIUJpgrjSM9-TLSzr3sQ 为什么说GAN很快就要替代现有摄影技术了?
- 努比亚android最高版本,努比亚Z17用户注意了,安卓9.0很快就要升级了
原标题:努比亚Z17用户注意了,安卓9.0很快就要升级了 在努比亚手机中,最为经典的就要属努比亚Z系列了.虽然努比亚Z17这款手机已经发布一年多,但其市场热度依旧不减.最近,有关努比亚Z17的消息不断 ...
- 华为P40或将搭载鸿蒙,厉害了任正菲的华为:P40或将搭载鸿蒙系统很快就要上市了...
P系列是华为两大旗舰系列之一,华为P30自今年3月发布以来,凭着手机搭载的潜望式变焦镜头以及麒麟980的处理器,全球销量突破1700万台,销量之王当之无愧. 时至今日,P30于Mate30系列都已发布 ...
- 微软将很快就要为Windows 10带来全新“画图”软件
据外媒报道,Windows经典应用"画图(Microsoft Paint)"看起来终于要登陆Windows 10平台了.日前,网上曝出了两支来自官方的视频,它们介绍.展示了画图软件 ...
- 2019年上半年收集到的人工智能GAN干货文章
2019年上半年收集到的人工智能GAN干货文章 GAN简介及其常见应用 训练GAN,你应该知道的二三事 了解生成对抗网络(GAN) CosmoGAN:训练GAN,让AI寻找宇宙中的暗物质 关于GAN的 ...
- 我从非科班转到图像算法工程师(图像识别、机器学习、深度学习)(3个月)的经历
我从非科班转到算法工程师3个月的经历 附录1:From 2016: Why Deep Learning Is Suddenly Changing Your Life 附录2:深度学习如何入门? 附录3 ...
- 这些假脸实在太逼真了!英伟达造出新一代GAN,生成壁纸级高清大图毫无破绽...
栗子 晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 不敢相信,上面这些人脸,全都是假的. 是英伟达的AI生成的. 借用风格迁移的思路,团队为GAN创造了一种新的生成器. 连GAN之父G ...
- 生成对抗网络(Generative Adversarial Networks,GAN)初探
1. 从纳什均衡(Nash equilibrium)说起 我们先来 看看纳什均衡的经济学定义: 所谓纳什均衡,指的是参与人的这样一种策略组合,在该策略组合上,任何参与人单独改变策略都不会得到好处.换句 ...
- 当专业动画师用GAN帮自己“偷懒”,几分钟就完成了几周的工作
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 当视觉特效师与GAN强强联手,做出来的动画会不会更好看? 答案是YES. 这是一位视觉特效师,用海外版抖音上超火的小姐姐Bella Poar ...
最新文章
- dataframe 按条件删行_根据列值删除Pandas中的DataFrame行
- 注意力机制的两种形式
- longtext长度为0是什么意思_为什么 HashMap 中链表长度大于 8 才转化为红黑树?
- 微信iOS多设备多字体适配方案总结
- 【Linux】服务管理命令和压缩管理的详细解读
- Module not found: Error: Can‘t resolve ‘querystring‘ in
- github上看到的springboot做的后台管理系统,bootdo,适合大家学习入门
- Javascript网页设计作业: HTML班级网页设计 基于HTML+CSS+JS制作我们的班级网页(web前端学生网页设计作品)
- Flex实现栅格布局
- 【python 作日期的折线图和柱状图组合图】
- 硬件特征码已达到最大上限_获取硬件特征码(硬盘,网卡,CPU)
- 时间戳 太平洋夏令时间和本地时间相互转换及自定义夏令时
- python中的start_python中startx有什么用
- one 主格 复数 宾格_主格、宾格、名词所有格
- 微信小程序全栈开发实践 第二章 微信小程序组件介绍及使用 -- 2.3 rich-text 组件,以及如何单击预览它的节点图片并保存
- 解决xampp 外网访问不了
- Co-training 初探快切入
- 使用 js 将图片进行转Base64转码
- java读取文件特别慢_如何提高在Java中读取大文件的速度?
- html 多个插件,webpack中html-webpack-plugin插件的使用(生成多个html页面,引入不同的js文件)...
热门文章
- 《强化学习周刊》第7期:强化学习应用之游戏
- 智源「高能对撞粒子分类挑战赛」开启,品鉴宇宙粒子的独特味道
- 牛顿的另一面:夺权、严惩罪犯,以一己之力挽救英国危机
- 2012年的这些经典书目你读了没?
- 徐尧:如何搭建好的数据指标体系?
- 独家 | 图片主题建模?为什么不呢?!
- 知识图谱推理问答:如何让机器像人类一样学会推理
- 500页开放书搞定概率图建模,图灵奖得主Judea Pearl推荐(附链接)
- Transformer哪家强?Google爸爸辨优良!
- 这个播放量200万的视频燃爆了!它讲透了:希尔伯特计划是如何被哥德尔与图灵“打脸”的?...