（个人）基于深度学习的中国传统特色图像的风格迁移第一周（1）

本次创新实训的目标是创建一个实现图像风格迁移的网站，现在已经实现的有基于CNN的油画风格的迁移，我们的创新点在于我们想要实现一些中国传统的风格，比如水墨画与剪纸，但这并不是改变输入这么简单的问题。实现水墨画风格迁移的难点在于，水墨画有大面积的留白，并不像油画那样色彩斑斓，纹理重复密集，对于现有的算法来说，这种水墨画可以提取的信息很少。剪纸也存在着这类问题，剪纸的镂空很大一部分是以线条的形式呈现的，而且这些线条具有整体统一性，单纯采用现有的提取色块的方法是无法产生具有整体联系的线条的。

本周我所做的第一个工作是：研究了Gatys发表在CVPR 2016 上的文章Image Style Transfer Using Convolutional Neural Networks

所谓图像的风格迁移，就是将一张图像的风格转移到另一张图像上，传统是采用一些非参数的方法，但只能提取低层特征，而不是高层抽象特征，并且一个程序只能做一种风格或一个场景。于是就研究出使用CNN方法来实现图像的风格迁移来改进以上不足。

实现思想：将风格图像的特征与内容图像的特征添加到噪声图像上，使噪声图像能够保持普通图像的内容的同时可以具有一定的风格图像的风格。

具体过程：

·Content representation：对于给定的内容图像，CNN的每一层都要使用滤波器对其进行卷积操作，每一个滤波器都会对应一个feature map，feature map的维度取决于其宽与高的乘积。

我们给出内容图像的损失函数：（p为内容图像，x为生成图像）

对其求导后得到的激活函数为：

论文中随机初始化一副椒盐噪声图像X，将P与X输入某训练好的CNN网络，对X求导，使X在内容上趋近于P

·Style representation：

先利用Gram矩阵来表示每一层feature map之间的关系，

然后就可以建立每一层关于style的损失函数：

总的损失函数：

通过梯度下降算法来保持噪声图像风格与输入风格图像的风格尽可能一致，即最小化二者Gram矩阵之间的均方距离。

图示：

上半部分是风格重建，下半部分是内容重建

·Style transfer：

将content与style的cost相结合可以得到：

（个人）基于深度学习的中国传统特色图像的风格迁移第一周（1）相关推荐

清华大学矣晓沅：“九歌”——基于深度学习的中国古典诗歌自动生成系统
授权自AI科技大本营(ID:rgznai100) 本文共2714字,建议阅读6分钟. 本文为你介绍清华自然语言处理与社会人文计算实验室的自动作诗系统--"九歌"及其相关的技术方法和 ...
基于深度学习的青菜病害区域图像语义分割与定位
基于深度学习的青菜病害区域图像语义分割与定位 1.研究思路提出了一种基于深度学习的青菜灾害区域图像语义分割的方法,通过 fine-tune FCN 以像素级精度分割出图像中作物灾害区进行识别,并借助 ...
基于深度学习的红外和可见光图像融合论文及代码整理
基于深度学习的红外和可见光图像融合论文及代码整理首先附上近期整理基于深度学习的图像融合论文的思维导图本篇博客主要整理基于深度学习的红外和可见光图像融合的论文和代码图像融合系列博客还有: 图像融合 ...
基于深度学习的探地雷达图像异常智能判译技术和软件
基于深度学习的探地雷达图像异常智能判译技术和软件近几年城市道路坍塌事故频发,预防此类事故的发生,需要一种高效的道路检测手段,对道路无损害且高效的车载阵列式三维探地雷达是完成此项工作最适合的技术. 但 ...
python神经结构二层_《python深度学习》笔记---8.3、神经风格迁移
<python深度学习>笔记---8.3.神经风格迁移一.总结一句话总结: 神经风格迁移是指将参考图像的风格应用于目标图像,同时保留目标图像的内容. 1."神经风格迁移是指将 ...
基于深度学习算法和传统立体匹配算法的双目立体视觉
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 01 立体视觉是什么? 在开始之前,我相信很多站友都会有这个疑问, ...
论文阅读：基于深度学习的肺癌放射基因组学图像生物标记和基因表达数据关联框架
Topic: Image Bio-markers and Gene Expression Data Correlation Framework for Lung Cancer Radio-genomi ...
动手深度学习13：计算机视觉——语义分割、风格迁移
文章目录一.语义分割 1.1 语义分割简介 1.2 Pascal VOC2012 语义分割数据集 1.2.1下载.读取数据集 1.2.2 构建字典(RGB颜色值和类名互相映射) 1.2.3 数据预处 ...
深度学习笔记第三门课结构化机器学习项目第一周机器学习（ML）策略（1）...
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...

（个人）基于深度学习的中国传统特色图像的风格迁移第一周（1）

（个人）基于深度学习的中国传统特色图像的风格迁移第一周（1）相关推荐

最新文章

热门文章