项目总结四：神经风格迁移项目（Art generation with Neural Style Transfer）
1、项目介绍
神经风格转换 (NST) 是深部学习中最有趣的技术之一。它合并两个图像, 即 内容图像 C（content image） 和 样式图像S（style image）, 以生成图像 G（generated image）。生成的图像 G 将图像 C 的 内容与图像S的 样式组合在一起。
2、模型
利用迁移学习的技巧，模型采用预训练的VGG19网络。预训练的模型来自 MatConvNet. http://www.vlfeat.org/matconvnet/pretrained/ 。 模型结构如下：
（1）模型结构示例图：
（2）本项目用的VGG19网络的结构
{'input': <tf.Variable 'Variable:0' shape=(1, 300, 400, 3) dtype=float32_ref>,'conv1_1': <tf.Tensor 'Relu:0' shape=(1, 300, 400, 64) dtype=float32>, 'conv1_2': <tf.Tensor 'Relu_1:0' shape=(1, 300, 400, 64) dtype=float32>,'avgpool1': <tf.Tensor 'AvgPool:0' shape=(1, 150, 200, 64) dtype=float32>,'conv2_1': <tf.Tensor 'Relu_2:0' shape=(1, 150, 200, 128) dtype=float32>, 'conv2_2': <tf.Tensor 'Relu_3:0' shape=(1, 150, 200, 128) dtype=float32>, 'avgpool2': <tf.Tensor 'AvgPool_1:0' shape=(1, 75, 100, 128) dtype=float32>, 'conv3_1': <tf.Tensor 'Relu_4:0' shape=(1, 75, 100, 256) dtype=float32>, 'conv3_2': <tf.Tensor 'Relu_5:0' shape=(1, 75, 100, 256) dtype=float32>, 'conv3_3': <tf.Tensor 'Relu_6:0' shape=(1, 75, 100, 256) dtype=float32>, 'conv3_4': <tf.Tensor 'Relu_7:0' shape=(1, 75, 100, 256) dtype=float32>,'avgpool3': <tf.Tensor 'AvgPool_2:0' shape=(1, 38, 50, 256) dtype=float32>,'conv4_1': <tf.Tensor 'Relu_8:0' shape=(1, 38, 50, 512) dtype=float32>, 'conv4_2': <tf.Tensor 'Relu_9:0' shape=(1, 38, 50, 512) dtype=float32>, 'conv4_3': <tf.Tensor 'Relu_10:0' shape=(1, 38, 50, 512) dtype=float32>, 'conv4_4': <tf.Tensor 'Relu_11:0' shape=(1, 38, 50, 512) dtype=float32>, 'avgpool4': <tf.Tensor 'AvgPool_3:0' shape=(1, 19, 25, 512) dtype=float32>, 'conv5_1': <tf.Tensor 'Relu_12:0' shape=(1, 19, 25, 512) dtype=float32>, 'conv5_2': <tf.Tensor 'Relu_13:0' shape=(1, 19, 25, 512) dtype=float32>,'conv5_3': <tf.Tensor 'Relu_14:0' shape=(1, 19, 25, 512) dtype=float32>,'conv5_4': <tf.Tensor 'Relu_15:0' shape=(1, 19, 25, 512) dtype=float32>,'avgpool5': <tf.Tensor 'AvgPool_4:0' shape=(1, 10, 13, 512) dtype=float32>}
3、成本函数
（1）内容代价函数
- 首先把图片由3D volume展开为2D matrix，如下图：
- 计算内容代价函数。分别以G和S两图片作为输入时，如果神经网络某一层的激活值相似，那么就意味着两个图片的内容相似。
（2）风格代价函数
- 首先计算某一层的Gram矩阵：
- 计算风格代价函数。分别以G和S两图片作为输入时，如果神经网络某一层的各个通道之间激活值相关系数高，那么就意味着两个图片的内容相似。
- 实际上，如果你对各层都使用风格代价函数，会让结果变得更好。计算公式如下：
- 把内容代价函数和风格代价函数组合到一起，就得到了代价函数：
4、模型优化算法与训练目标
# define optimizer (1 line)
optimizer = tf.train.AdamOptimizer(2.0)# define train_step (1 line)
train_step = optimizer.minimize(J)
5、输入输出数据
- 输入数据：content_image、style_image、generated_image
- 输出数据：generated_image
6、总结
- Neural Style Transfer is an algorithm that given a content image C and a style image S can generate an artistic image
- It uses representations (hidden layer activations) based on a pretrained ConvNet.
- The content cost function is computed using one hidden layer's activations.
- The style cost function for one layer is computed using the Gram matrix of that layer's activations. The overall style cost function is obtained using several hidden layers.
- Optimizing the total cost function results in synthesizing new images.
转载于:https://www.cnblogs.com/hezhiyao/p/8906216.html
项目总结四：神经风格迁移项目（Art generation with Neural Style Transfer）相关推荐
- coursera 吴恩达四卷积神经网络第四周 Art Generation with Neural Style Transfer
last one
- 吴恩达深度学习课程deeplearning.ai课程作业：Class 4 Week 4 Art Generation with Neural Style Transfer
吴恩达deeplearning.ai课程作业,自己写的答案. 补充说明: 1. 评论中总有人问为什么直接复制这些notebook运行不了?请不要直接复制粘贴,不可能运行通过的,这个只是notebook ...
- Art Generation with Neural Style Transfer-v2
这是吴恩达老师深度学习课程第四课(卷积神经网络)第四周第二次的作业题目,不包含答案! Deep Learning & Art: Neural Style Transfer Welcome to ...
- Stanford CS230深度学习（六）目标检测、人脸识别和神经风格迁移
在CS230的lecture 6中主要吴恩达老师讲述了一些关于机器学习和深度学习的tips,用一个触发词台灯的例子教我们如何快速的解决实际中遇到的问题,这节课主要是偏思维上的了解,还是要实际问题实际分 ...
- 4.6 什么是神经风格迁移-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 4.5 面部验证与二分类 回到目录 4.7 什么是深度卷积网络? 什么是神经风格迁移 (What is neural style transfer?) 最近,卷积神经网络最有 ...
- [神经风格迁移]用卷积神经网络将艺术照进现实（Keras版本，每行代码都解析的那种噢）
神经风格迁移是生成式深度学习中较为奇妙的项目之一,可以通过卷积神经网络模型中某一层(或多层)所学习到的输出(学习到的特征)进行整合实现.如果想更深入的了解卷积神经网络每层的输出的内容,可以看看我的上一 ...
- python opencv 图像切割_Python 使用 OpenCV 进行图像神经风格迁移
Neural Style Transfer with OpenCV src: https://www. pyimagesearch.com/2018/ 08/27/neural-style-trans ...
- opencv与python学哪一个好_教你如何用OpenCV、Python和深度学习技术对图像和实时视频进行神经风格迁移...
编者按:在这篇教程中,作者AdrianRosebrock将教你如何用OpenCV.Python和深度学习技术对图像和实时视频进行神经风格迁移. 2015年,Gatsys等人在论文ANeuralAlgo ...
- 有趣的深度学习——使用TensorFlow 2.0实现图片神经风格迁移
前言 这也是一个重写的项目,之前用Python 2.7 + TensorFlow 1.4写的图片神经风格迁移的项目(TensorFlow 练手项目三:使用 VGG19 迁移学习实现图像风格迁移)直到现 ...
最新文章
- WCF Membership Provider
- 如何显示服务器上的图片,显示服务器上的图片怎么写
- mysql经常问到的面试题_20道BAT面试官最喜欢问的JVM+MySQL面试题（含答案解析）...
- 利用cors，实现js跨域访问Tomcat下资源
- 第一个程序python-HelloWorld
- java分子分母题,JAVA黄金分割点练习题
- CCIE试验备考之交换VLAN间路由
- cydia无法加载未能连接服务器,cydia无法加载_Cydia无法加载如何办？Cydia加载失败故障的解决方...
- 【面试常问】BS 与 CS 的联系与区别
- 为什么ios比android流畅
- win7系统ie被篡改怎么解决
- URAL 1389 Roadworks 贪心
- 什么是大数据？大数据学习路线和就业方向
- 自动回复的三种形式？
- 二极管在LDO电路中的几种常见用法
- 分布式唯一ID几种生成方案
- win10 的计算机配置要求,详细教你windows10的配置要求
- 电脑开机密码忘记，如何修改电脑密码？
- centos7解决hadoop2.6.4多次格式化导致的slave节点datanode无法启动的问题
- 黑客是如何炼成的（自学黑客4大知识点）