【深度学习风格化/生成艺术】图像融合--毫无违和

玩转图像，可以玩一整天的图像生成

Deep Painterly Harmonization
来自康奈尔大学的FujunLuan，在最近的文章中发表了一种可以再油画、名画和各种风格的原图中，嵌入自己个性化的部分，并毫无违和感的展示出来。研究表明局域统计特征对于图像的融入十分重要、生成高质量图像的关键在于保证多尺度统计特征和空间的连续性。

算法

损失主要分为三部分：

标准的风格和内容损失
直方图损失，增加上式稳定性：
全局方差损失，增加图像平滑过渡：

具体的步骤分为：

鲁棒的粗融合：包括了映射和重建
高质量的精融合：同业也是映射与重建
后处理阶段包含了色度去噪、图像分片合成
训练painting estimator 来获取优化参数

一些结果:

作者

Fujun Luan是康奈尔大学博士，主要集中于图形学渲染方向和风格迁移领域的研究，去年一篇著名的图像风格迁移论文deep photo style transfer也出自他之手。

代码实现

作者的代码主要包含torch、cudnn和matlab写的代码。其中cudnn用于加速、torch用于风格迁移生成、matlab用于后处理。

python

其python代码主要是调用了torch写的lua脚本

import os
import mathnumImgs = 35   #需要生成的图像数量
# numGpus = 16
numGpus = 1   #使用的GPU数量if os.path.exists('results') == 0:os.mkdir('results')   #图像在git文件夹下resulte下N = int(math.ceil(float(numImgs)/numGpus))   #分配for j in range(1, numGpus+1):cmd = ''for i in range(1, N+1):idx = (i-1) * numGpus + (j-1)if idx >= 0 and idx < numImgs:print('Working on image idx = ', idx)#https://github.com/luanfujun/deep-painterly-harmonization/blob/master/neural_gram.luapart_cmd1 =' th neural_gram.lua '\     #计算格拉姆矩阵，各种风格迁移、掩膜等等' -content_image data/' + str(idx) + '_naive.jpg  '\' -style_image   data/' + str(idx) + '_target.jpg '\' -tmask_image   data/' + str(idx) + '_c_mask.jpg '\' -mask_image    data/' + str(idx) + '_c_mask_dilated.jpg '\' -gpu ' + str(j-1) + ' -original_colors 0 -image_size 700 '\' -output_image  results/' + str(idx) + '_inter_res.jpg'\' -print_iter 100 -save_iter 100 && '#https://github.com/luanfujun/deep-painterly-harmonization/blob/master/neural_paint.luapart_cmd2 =' th neural_paint.lua '\     #生成painting，精细化的融合新加入的图像' -content_image data/' + str(idx) + '_naive.jpg '\' -style_image   data/' + str(idx) + '_target.jpg '\' -tmask_image   data/' + str(idx) + '_c_mask.jpg '\' -mask_image    data/' + str(idx) + '_c_mask_dilated.jpg '\' -cnnmrf_image  results/' + str(idx) + '_inter_res.jpg  '\' -gpu ' + str(j-1) + ' -original_colors 0 -image_size 700 '\' -index ' + str(idx) + ' -wikiart_fn data/wikiart_output.txt '\' -output_image  results/' + str(idx) + '_final_res.jpg' \' -print_iter 100 -save_iter 100 '\' -num_iterations 1000 &&' cmd = cmd + part_cmd1 + part_cmd2cmd = cmd[1:len(cmd)-1]print(cmd)os.system(cmd)

matlab

作者同时还提供了matlab代码来进行后处理：

for i = 0:34close allin_fn  = ['results/' int2str(i) '_final_res.png'];  %输入输入out_fn = ['results/' int2str(i) '_final_res2.png'];if exist(in_fn, 'file') ~= 2 fprintf('file doesn''t exist: %s\n', in_fn); continueend if exist(out_fn, 'file') == 2 fprintf('result already exists: %s\n', out_fn); continueend I = im2double(imread(in_fn));G = im2double(imread(['data/' int2str(i) '_naive.jpg']));    %原图M = im2double(imread(['data/' int2str(i) '_c_mask.jpg']));   %mask图像B = im2double(imread(['data/' int2str(i) '_target.jpg']));   %目标图tr= 3;h = fspecial('gaussian', [2*tr+1 2*tr+1], tr);sM = imfilter(M, h, 'same'); sM(sM > 0.01) = 1; % dialtesM(sM < 0.01) = 0;sM = imfilter(sM, h, 'same'); addpath 3rdparty/colorspaceI_lab = colorspace('rgb->lab', I);   %颜色空间lab转换addpath 3rdparty/guided_filter    %引导滤波器addpath 3rdparty/patchmatch-2.0    %图像片元匹配r = 2; % try r=2, 4, or 8    %一些超参数eps = 0.1^2; % try eps=0.1^2, 0.2^2, 0.4^2O_lab = I_lab;O_lab(:,:,2) = guidedfilter_color(G, I_lab(:,:,2), r, eps);   %引导滤波器：ref:https://arxiv.org/abs/1505.00996O_lab(:,:,3) = guidedfilter_color(G, I_lab(:,:,3), r, eps);% runs here, deconvolution CNN artifact removed   %去除解卷积的人工痕迹O1 = colorspace('lab->rgb', O_lab);% one patchmatch pass to further remove color artifactcores = 4; algo = 'cputiled';patch_w = 7;ann = nnmex(O1, B, algo, patch_w, [], [], [], [], [], cores);O2_base = im2double(votemex(B, ann));r = 3;h = fspecial('gaussian', [2*r+1 2*r+1], r/3);O1_base = imfilter(O1, h, 'same');O2 = O2_base + O1 - O1_base;O2 = O2.*sM + B.*(1-sM);figure; imshow(I)figure; imshow(O2)imwrite(O2, out_fn);
end

TODO:代码run demo

ref:
https://arxiv.org/pdf/1804.03189.pdf
https://www.cs.cornell.edu/~fujun/
https://github.com/luanfujun/deep-painterly-harmonizatio
results:https://github.com/luanfujun/deep-painterly-harmonization/blob/master/README2.md
deep photo transfer：https://blog.csdn.net/cicibabe/article/details/70868746，https://arxiv.org/pdf/1703.07511.pdf