1. 卷积神经网络的应用

2. 卷积神经网络学到了什么

3. 图像风格转换-V1

3.1 内容特征&风格特征

3.2 优劣

4. 图像风格转换-V2

4.1 图像风格转换 V1和V2的异同

（1）V1和V2的不同

（2）V1和V2的相同

4.2 图像风格转换V2的网络细节

（1）不使用pooling层，使用strided和fractionally strided卷积来做downsampling 和 upsampling

（2）使用五个residual blocks

（3）输出层使用scaled tanh保证输出值在[0, 255]

（4）第一个和最后一个卷积核使用9*9的核，其它使用3*3

5. 图像风格转换-V3

6. 三种风格转换算法的对比

1. 卷积神经网络的应用

图像风格转换

图像修复

换脸

图像超清化

图像翻译

文字生成图像

2. 卷积神经网络学到了什么

卷积神经网络的每一层激活值都可以看作是图像的抽象表示。（卷积神经网络中某层的每个激活值都可以看作是一个分类器，众多的分类结果组成了抽象表示。层级越高，特征抽象程度越高。）

3. 图像风格转换-V1

3.1 内容特征&风格特征

内容特征：图像输入到CNN得到的某一层的激活值。

使用内容特征生成图像：

保持卷积神经网络的参数不变

调整图像X的像素值，使之与y图像在CNN中的内容特征距离变小。（图像输入到卷积神经网络中，某一层的激活值F，和对应位置上和待生成的图像提取出来的特征P去相减求和，得到损失函数。）

风格特征：图像输入到CNN得到的某一层的激活值之间的关联。（是所有内容特征的共性，一般在越高层，就越能得到风格特征的结果。）

风格特征的计算——Gram矩阵

3.2 优劣

慢：每张图都要逐步求导

逐步调整：能够产生多张效果

能否只用一次计算就能得到结果？

4. 图像风格转换-V2

同样的网络还可以实现图像超清化

训练：

X是要转换的图像

Ys是风格图像

Yc是内容图像

X=Yc

预测：

输入新图像

经过transformer

得到转换结果

4.1 图像风格转换 V1和V2的异同

（1）V1和V2的不同

V1中是随机的。

V2中是由X经过Image Transform Net得到的。

（2）V1和V2的相同

基于Gram矩阵来计算风格损失——>风格损失无法明确定义

4.2 图像风格转换V2的网络细节

（1）不使用pooling层，使用strided和fractionally strided卷积来做downsampling 和 upsampling

strided卷积步长=1时，输入和输出的size一致。当strided>1时，比如当strided = 2时，图像size的长宽各降低一半。在卷积层上做strided会比做pooling能保存更多的信息（why）。故一般在图像生成网络中，会用strided=2的卷积层来代替pooling层，以保持更多的信息。

图像变小之后，还需要将其放大。fractionally strided相当于strided的逆操作。当strided=2时，图像会变为原来的1/2；当strided=1/2时，图像会变为原来的2倍。downsampling降采样，图像变小；upsampling升采样，图像变大。

为什么先做down-sampling，再做up-sampling？

减小了feature_map的大小，提高性能

提高结果图像中的视野域——风格转换会导致物体变形，因而，结果图像中每个图像对应着初始结果中的视野域越大越好

（2）使用五个residual blocks

在生成网络中，使用残差连接（residual blocks）的好处：残差连接为恒等连接，y = x + f(x), 能够尽可能的保留输入图像中更多的信息。f(x)可专注于学习需要变换的部分。

（3）输出层使用scaled tanh保证输出值在[0, 255]

（4）第一个和最后一个卷积核使用99的核，其它使用33

5. 图像风格转换-V3

1. 摆脱gram矩阵

6. 三种风格转换算法的对比

卷积神经网络(四)——应用相关推荐

卷积神经网络四种卷积类型
卷积神经网络四种卷积类型 https://www.toutiao.com/a6631333810287936013/ 一般卷积首先,我们需要就定义卷积层的一些参数达成一致. 卷积核大小(Kernel ...
卷积神经网络四:人脸识别和风格变迁
1 什么是人脸识别现在的人脸识别包含两个部分,人脸识别和活体检测.后一项技术确认你是一个活人.事实上,活体检测可以使用监督学习来实现,去预测是不是一个真人,这个方面我就不多说了.我主要想讲的是,如何 ...
深度篇—— CNN 卷积神经网络(四) 使用 tf cnn 进行 mnist 手写数字代码演示项目
返回主目录返回 CNN 卷积神经网络目录上一章:深度篇-- CNN 卷积神经网络(三) 关于 ROI pooling 和 ROI Align 与插值本小节,细说使用 tf cnn 进行 mn ...
入门卷积神经网络(四）误差函数（损失函数）
误差函数(损失函数) 监督学习的神经网络需要一个函数来测度模型的输出值p和真实因变量值y之间的差异,一般这种差异被称为残差或者误差. 但一个模型完美时(虽然不存在),其误差为0.当模型存在问题时,误差 ...
TensorFlow（7）卷积神经网络实战（1）（可视化）
目录基础理论卷积卷积核与过滤器的区别一.获取数据集二.设定数据集大小.归一化三.构建卷积神经网络四.编译&&训练五.模型评估六.可视化 1.创建plt图 2.获取各卷 ...
4.2 One-Shot 学习-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.1 什么是人脸识别? 回到目录 4.3 Siamese 网络 One-Shot 学习 (One-Shot Learning) 人脸识别所面临的一个挑战就是你需要解决一次学 ...
3.10 候选区域-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.9 YOLO 算法回到目录 3.11 总结候选区域 (Region proposals) 如果你们阅读一下对象检测的文献,可能会看到一组概念,所谓的候选区域,这在计算 ...
3.1 目标定位-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.12 总结回到目录 3.2 特征点检测目标定位 (Object Localization) 大家好,欢迎回来,这一周我们学习的主要内容是对象检测,它是计算机视觉领域中 ...
1.7 单层卷积网络-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.6 三维卷积回到目录 1.8 简单卷积网络示例单层卷积网络 (One Layer of a Convolutional Network) 今天我们要讲的是如何构建卷积 ...
0.0 目录-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
文章目录第五课第四课第三课第二课第一课第五课 <序列模型> 笔记列表 Week 1 循环序列模型 Week 1 传送门 -> 1.1 为什么选择序列模型 1.2 数学符号 ...

卷积神经网络(四)——应用

1. 卷积神经网络的应用

2. 卷积神经网络学到了什么

3. 图像风格转换-V1

3.1 内容特征&风格特征

3.2 优劣

4. 图像风格转换-V2

4.1 图像风格转换 V1和V2的异同

（1）V1和V2的不同

（2）V1和V2的相同

4.2 图像风格转换V2的网络细节

（1）不使用pooling层，使用strided和fractionally strided卷积来做downsampling 和 upsampling

（2）使用五个residual blocks

（3）输出层使用scaled tanh保证输出值在[0, 255]

（4）第一个和最后一个卷积核使用99的核，其它使用33

5. 图像风格转换-V3

6. 三种风格转换算法的对比

卷积神经网络(四)——应用相关推荐

最新文章

热门文章