StyleTransfer-Pytorch.ipynb
- 预处理
- 计算损失
- - 内容损失
  - 风格损失
  - 正则化损失
- 风格迁移
- 特征反演
style_transfer_pytorch.py

StyleTransfer-Pytorch.ipynb

这里用的是cs231n2020的代码，因为有些pytorch的用法和以前的不一样了。
注意：StyleTransfer-Pytorch.ipynb和style_transfer_pytorch.py都有设置运算类型（CPU或GPU）的地方，需要两处同时更改。

预处理

接下来会实现"Image Style Transfer Using Convolutional Neural Networks" (Gatys et al., CVPR 2015)里的风格迁移。
要实现风格迁移，首先在深度网络的特征空间中建立一个与每张图像的内容和风格相匹配的损失函数，然后对图像本身的像素进行梯度下降。

提取特征所用的神经网络是 SqueezeNet（一个在ImageNet上预训练好的轻量级网络），实际上可以使用任一神经网络进行特征提取，但是SqueezeNet相对较小并且比较有效。

下图是风格迁移的结果：

import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as T
import PILimport numpy as np
import matplotlib.pyplot as plt
from cs231n.image_utils import SQUEEZENET_MEAN, SQUEEZENET_STD
%matplotlib inline# 自动加载其他文件里的模型、函数
%load_ext autoreload
%autoreload 2

加载’style-transfer-checks.npz’

from cs231n.style_transfer_pytorch import preprocess, deprocess, rescale, rel_error, features_from_img
# 如果'style-transfer-checks.npz'在同级目录下
CHECKS_PATH = 'style-transfer-checks.npz'
# 否则
#CHECKS_PATH = '/content/drive/My Drive/{}/{}'.format(FOLDERNAME, 'style-transfer-checks.npz')assert CHECKS_PATH is not None, "[!] Choose path to style-transfer-checks.npz"
# 存放图片的位置
STYLES_FOLDER = CHECKS_PATH.replace('style-transfer-checks.npz', 'styles')
# 加载'style-transfer-checks.npz'
answers = dict(np.load(CHECKS_PATH))

# 如果只有cpu就用这行代码
#dtype = torch.FloatTensor
dtype = torch.cuda.FloatTensor# 加载预训练的SqueezeNet模型
cnn = torchvision.models.squeezenet1_1(pretrained=True).features
cnn.type(dtype)
# 不需要训练SqueezeNet模型，所以不需要计算SqueezeNet参数的梯度
for param in cnn.parameters():param.requires_grad = False

计算损失

风格迁移会生成一张图片，这张图片保持一张输入图片的内容，却和另一张输入图片的风格相似。所以风格迁移的损失函数是由内容损失、风格损失和正则化损失构成的，是三者的加权求和。

内容损失

内容损失衡量了生成图像的特征和输入图片特征的差异（神经网络在进行分类时，考虑了图像的内容，所以神经网络的特征可以在一定程度上表现两张图片的内容是否相似）。

我们只关心网络中特定层（比如说，第ℓ层）的特征（

【深度之眼cs231n第七期】笔记（二十七）相关推荐

【深度之眼cs231n第七期】笔记（四）
目录准备工作 KNN 交叉验证对于k最邻近算法(KNN): 训练时,分类器记住所有的训练数据: 测试时,每一个测试图像都要和所有的训练图像计算距离,然后选取距离最近的k个图像,最后选取k个图像中出 ...
【Visual C++】游戏开发笔记二十七 Direct3D 11入门级知识介绍
游戏开发笔记二十七 Direct3D 11入门级知识介绍作者:毛星云邮箱: happylifemxy@163.com 期待着与志同道合的朋友们相互交流上一节里我们介绍了在迈入Dire ...
uniapp 学习笔记二十七购物车总价计算及弹窗交互逻辑完善
uniapp 学习笔记二十七购物车总价计算及弹窗交互逻辑完善 uniapp 学习笔记二十七购物车总价计算及弹窗交互逻辑完善 cart.vue <template><view> ...
【Visual C++】游戏开发笔记二十七 Direct3D 11入门级知识介绍
本系列文章由zhmxy555(毛星云)编写,转载请注明出处. http://blog.csdn.net/zhmxy555/article/details/7707628 作者:毛星云邮箱: happ ...
Mr.J-- jQuery学习笔记(二十七)--DOM操作方法(删除获取文本)
清除 <body> <button>调用remove</button> <div>我是div<p>我是段落</p> </d ...
嵌入式Linux驱动笔记(二十七)------中断子系统框架分析
你好!这里是风筝的博客, 欢迎和我一起交流. 中断是指计算机运行过程中,出现某些意外情况需主机干预时,机器能自动停止正在运行的程序并转入处理新情况的程序,处理完毕后又返回原被暂停的程序继续运行. 从硬 ...
从七岁到二十七岁的二十年
――――――――――――――写给一个小女孩的第一个情人节七岁的时候,小女孩第一次见到小男孩,当时外面下着大雨,小男孩虽然穿着雨衣还是一身湿潞潞地进了教室,尽管如此却也表现一股英气和牛劲 -- 从此他 ...
Qt学习笔记(二十七)：QLabel 的常用方法
一.QLabel 的构造函数: 1.QLabel(QWidget * parent = 0, Qt::WindowFlags f = 0):创建 QLabel 控件时,指定其父对象,并设置其窗口属性( ...
C++语法学习笔记二十七：引用折叠，转发、完美转发，forward
实例代码 // 引用折叠,转发.完美转发,forward#include <iostream>using namespace std;template<typename T> ...

【深度之眼cs231n第七期】笔记（二十七）

StyleTransfer-Pytorch.ipynb

预处理

计算损失

内容损失

【深度之眼cs231n第七期】笔记（二十七）相关推荐

最新文章

热门文章