旧照片或胶片着色修复+GAN

1.Self-Attention Generative Adversarial Networks （SAGAN，自注意力机制GAN）

论文：https://arxiv.org/abs/1805.08318

代码：https://github.com/heykeetae/Self-Attention-GAN

面对问题：基于GAN生成图像的细节把控不好

原因是：

现在基于卷积CNN的图像生成，基本上都是基于local receptive field(局部感受野)，略显局限，缺少全局或其他信息。
传统的卷积GANs只在低分辨率feature map(特征图)中以空间局部点的形式生成高分辨率细节。

解决办法：

self-attention 在模拟远程依赖性的能力、计算效率和统计效率之间展现出更好的平衡。自注意力机制将所有位置处的特征的加权和作为该位置的响应，其中权重 - 或注意向量 - 仅以较小的计算成本来计算。

SAGAN它将self-attention机制引入卷积GAN。

可以很好的处理长范围、多层次的依赖(可以很好的发现图像中的依赖关系)
生成图像时每一个位置的细节和远端的细节协调好
判别器还可以更准确地对全局图像结构实施复杂的几何约束。

2.DeOldify 是用于着色和恢复旧图像及视频的深度学习项目

它采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好，渲染也更逼真。

https://github.com/jantic/DeOldify

Self-Attention生成对抗网络。除了generator是一个预训练的Unet之外，只做了一点修改，使它具有光谱规范化（spectral normalization）和自注意力（self attention）。

训练结构的灵感来自Progressive Growing of GANs（https://arxiv.org/abs/1710.10196）。但不是完全一样，差别主要是我的版本层数保持不变——只是逐步改变输入的大小并调整学习率以确保尺寸的转换成功。最终结果基本一致——训练速度更快、更稳定，并且能更好地泛化。

Two Time-Scale Update Rule（https://arxiv.org/abs/1706.08500）。这也非常简单，就是一对一的generator/critic迭代和更高的critic学习率。

Generator Loss包括两部分：一部分是基于VGG16的基本Perceptual Loss（或Feature Loss），基本上只是使生成模型偏差以复制输入图像。第二部分是critic的loss score。

旧照片或胶片着色修复+GAN相关推荐

大学计算机案例教程旧照片修复,破损旧照片修复教程
破损旧照片修复教程照片修复/制图/文万壑松风听琴韵有一些保存不善的旧照片,会出现撕裂.磨损.破损.发黄.受潮后相纸药膜粉化剥落.污染.沾染灰尘.褪色.划伤.发霉等现象,甚至画面变得漫漶不清.对于 ...
用 Python 分分钟让旧照片修复清晰
翻开家里的的相片册,可以看到每张照片都是那么的弥足珍贵,特别是很久以前的照片,都是美好的回忆,还有那些年错过的场景,都被记录下来了,不过可惜的是,随着时间的流逝,照片可能泛黄,出现划痕,画质损失等等, ...
GitHub开源力作！最新旧照片修复技术：细致到面部毛孔
最近,几个中国小伙组成的微软研究团队开发了一种全新的修复旧照片的工具,那些我们想要留在心底或未曾经历过的从前,都可以通过翻看老照片找回来,目前已在 GitHub 上开源. AI 是如何修复旧照片的没 ...
无限极评论回复插件_如何一键修复上色破损的旧照片？老照片有救了，用这个魔法插件...
如何一键修复上色破损的旧照片? 你的老照片有救了,用这个神奇的魔法插件! 紫枫刚发布了一个有魔法的PS 插件:Movavi Photo Editor,没看过的可以点击下面的链接查看一下: PS 照片后 ...
python 旧照片_DeOldify黑白旧照片着色神器：基于NoGAN的深度学习来实现旧照着色还原...
我们特别感谢DeOldify的开发者jantic,该项目处于持续维护状态,参与贡献人数已有25人,使用一种NoGAN的神经网络来训练,最终使得复原的照片毛刺几乎完全消失.人物皮肤更为自然,效果逼近真实 ...
微软开源: 老旧照片修复的AI算法
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达开源最前线(ID:OpenSourceTop) 猿妹整编 | 来源 ...
怎么修照片多余的部分_PS教程旧照片翻新修复技巧
旧照片翻新修复技巧--上色篇修复后的图像在上色之前,我们先必须对图像做一系列的色彩调整,这个阶段的步骤非常重要,上色是否能够精彩,上色前的图像处理占70%.那我们就来看看如何来处理这张图像. 执行 ...
c++ opencv 照片清晰度_PS教程：旧照片翻新修复技巧
旧照片翻新修复技巧--上色篇修复后的图像在上色之前,我们先必须对图像做一系列的色彩调整,这个阶段的步骤非常重要,上色是否能够精彩,上色前的图像处理占70%.那我们就来看看如何来处理这张图像. 执行 ...
几十年前的老旧照片如何修复？还不知道旧照片怎么恢复清晰吗？
那些旧照片本身会随着时间的推移而褪色.褶皱.老旧照片修复主要是从褪色.变色.破损.发霉.的旧相片修复翻新,到模糊不清清晰化处理,大面积严重破损照片修补. 十年以前,没有电脑,没有手机,更没有存储照片工 ...

旧照片或胶片着色修复+GAN

旧照片或胶片着色修复+GAN相关推荐

最新文章

热门文章