正文共5042个字,11张图,预计阅读时间13分钟。

如今,上色都是人手工用Photoshop做的,一张图片要花好几个月才能完成,需要进行大量调查研究,光是其中的一张脸就需要多达20层图层。但是,基于深度神经网络的自动着色机器人,可以几秒钟就实现PS几个月的效果,而且成效越来越惊人。

下面,我们将分三个步骤展示如何打造你自己的着色神经网络。第一部分讲解核心逻辑。我们将构建一个40行代码的神经网络,作为“Alpha”着色机器人,这个代码片段实际上没有太多的魔法,但可以让你熟悉基本操作。

然后,我们将创建一个可以泛化的神经网络——“Beta”版本。Beta机器人能对以前没有看到的图像着色。

最后,我们将神经网络与一个分类器相结合,得到“最终”版本。我们将使用120万张图像训练过的Inception Resnet V2。为了让着色效果吸引眼球,我们将使用Unsplash(免费图库,里面的图片非常有艺术感和设计感)的人像作为数据,训练我们的神经网络。

核心技术拆解:自动着色=发现灰度与彩色间的特征

1、黑白图像可以在像素网格中表示。每个像素具有对应于其亮度的值,范围为0 - 255,从黑色到白色。

2、彩色图像由三层组成:红色层,绿色层和蓝色层。直观地,你可能会认为植物只存在于绿色层。但是,如下图所示,绿色的叶子在三个通道中都有。这些层不仅可以确定颜色,还可以确定亮度。

为了得到白色这个颜色,需要将所有颜色均匀分布。通过添加等量的红色和蓝色,绿色会变得更亮。因此,彩色图像使用三层对颜色和对比度进行编码

就像黑白图像一样,彩色图像中每个图层的值也都为0 - 255。值为0意味着该图层中没有颜色。 如果所有颜色通道的值都为0,则图像像素为黑色。

神经网络会创建输入值和输出值之间的关系。更准确地说,着色任务实际上就是网络需要找到链接灰度图像与彩色图像的特征。

因此,着色机器人要寻找的,就是将灰度值网格链接到三色网格的特征。

01

Alpha版本:40行代码,实现基础着色机器人

我们从简单的神经网络开始,给一张女性脸部图像(见下)着色。

只需40行代码,我们就能实现以下转换。中间的图像是用神经网络完成的,右边的图片是原始的彩色照片。当然,这里的网络使用了相同的图像做训练和测试,稍后我们将在Beta版本中再来讲这一点。

颜色空间

首先,我们使用一种算法来改变颜色通道,从RGB到Lab。L表示亮度,a和b分别表示颜色光谱,绿-红和蓝-黄。

如下所示,Lab编码的图像有一层灰度,将三层颜色层压成两层。这意味着我们可以在最终预测中使用原始的灰度图像。 此外,我们只有两个通道做预测。

人类眼睛中有94%的细胞是确定亮度的,这是个科学事实。只有6%的受体被用作颜色的传感器。如上图所示,灰度图像比彩色层更加清晰。这也是我们最终预测中保持灰度图像的另一个原因。

从黑白到彩色

我们的最终预测是这样的。我们有一个输入灰度层,我们想预测Lab中的两个彩色层。要创建最终的彩色图像,我们将纳入用于输入的L/灰度图像,从而创建一个Lab图像。

我们使用卷积滤波器将一层转成两层。你可以将它们视为3D眼镜中的蓝/红滤镜。每个滤波器确定我们在图片中看到的内容,可以突出显示或删除某些东西,从图片中提取信息。网络可以从滤波器中创建新的图像,也可以将多个滤波器组合成一个图像。

卷积神经网络的每个滤波器都自动调整,以帮助预期的结果。我们从堆叠数百个滤镜开始,然后将它们缩小为两层,即a层和b层。

下面是FloydHub代码:

from keras.layers import Conv2D, UpSampling2D, InputLayer, Conv2DTranspose

from keras.layers import Activation, Dense, Dropout, Flatten

from keras.layers.normalization import BatchNormalization

from keras.models import Sequential

from keras.preprocessing.image

import ImageDataGenerator, array_to_img, img_to_array, load_img

from skimage.color import rgb2lab, lab2rgb, rgb2gray, xyz2lab

from skimage.io import imsave

import numpy as np

import os

import random

import tensorflow as tf

Using TensorFlow backend.# Get

imagesimage = img_to_array(load_img('woman.jpg')) image = np.array(image, dtype=float) X = rgb2lab(1.0/255*image)[:,:,0] Y = rgb2lab(1.0/255*image)[:,:,1:] Y /= 128X = X.reshape(1, 400, 400, 1) Y = Y.reshape(1, 400, 400, 2)# Building the neural networkmodel = Sequential() model.add(InputLayer(input_shape=(None, None, 1))) model.add(Conv2D(8, (3, 3), activation='relu', padding='same', strides=2)) model.add(Conv2D(8, (3, 3), activation='relu', padding='same')) model.add(Conv2D(16, (3, 3), activation='relu', padding='same')) model.add(Conv2D(16, (3, 3), activation='relu', padding='same', strides=2)) model.add(Conv2D(32, (3, 3), activation='relu', padding='same')) model.add(Conv2D(32, (3, 3), activation='relu', padding='same', strides=2)) model.add(UpSampling2D((2, 2))) model.add(Conv2D(32, (3, 3), activation='relu', padding='same')) model.add(UpSampling2D((2, 2))) model.add(Conv2D(16, (3, 3), activation='relu', padding='same')) model.add(UpSampling2D((2, 2))) model.add(Conv2D(2, (3, 3), activation='tanh', padding='same'))# Finish modelmodel.compile(optimizer='rmsprop', loss='mse') model.fit(x=X, y=Y, batch_size=1, epochs=1000)

Epoch 1/1000

1/1 [==============================] - 1s - loss: 0.0286 Epoch 2/1000 1/1 [==============================] - 0s - loss: 0.0238 Epoch 318/1000 1/1 [==============================] - 0s - loss: 0.0010 Epoch 319/1000 1/1 [==============================] - 0s - loss: 7.4259e-04 Epoch 590/1000 1/1 [==============================] - 0s - loss: 5.5838e-04 Epoch 591/1000 1/1 [==============================] - 0s - loss: 4.7110e-04 Epoch 592/1000 Epoch 845/1000 1/1 [==============================] - 0s - loss: 3.5430e-04 Epoch 846/1000 1/1 [==============================] - 0s - loss: 2.9861e-04 1/1 [==============================] - 0s - loss: 3.0116e-04 Epoch 996/1000 1/1 [==============================] - 0s - loss: 3.1555e-04 Epoch 997/1000 1/1 [==============================] - 0s - loss: 3.0418e-04 Epoch 998/1000 1/1 [==============================] - 0s - loss: 4.3305e-04 Epoch 999/1000 1/1 [==============================] - 0s - loss: 3.9781e-04 Epoch 1000/1000 1/1 [==============================] - 0s - loss: 5.8701e-04<keras.callbacks.History at 0x11ccb6860>

print(model.evaluate(X, Y, batch_size=1)) output = model.predict(X) output *= 128# Output colorizationscur = np.zeros((400, 400, 3)) cur[:,:,0] = X[0][:,:,0] cur[:,:,1:] = output[0] imsave("img_result.png", lab2rgb(cur)) imsave("img_gray_version.png", rgb2gray(lab2rgb(cur)))

1/1 [==============================] - 0s 0.000459772680188 /usr/local/lib/python3.6/site-packages/skimage/util/dtype.py:122: UserWarning: Possible precision loss when converting from float64 to uint8

.format(dtypeobj_in, dtypeobj_out))

/usr/local/lib/python3.6/site-packages/skimage/util/dtype.py:122: UserWarning: Possible precision loss when converting from float64 to uint16  .format(dtypeobj_in, dtypeobj_out))

# 可视化数据集

import matplotlib.pyplot as plt %matplotlib inline   plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

img = lab2rgb(cur) title = '黑白照片自动着色的神经网络-Alpha版'plt.imshow(img) plt.title(title)

plt.show()

output_7_0.png

Alpha版本不能很好地给未经训练的图像着色。接下来,我们将在Beta版本中做到这一点——将上面的将神经网络泛化。

原文链接:https://www.jianshu.com/p/6773f3958071

查阅更为简洁方便的分类文章以及最新的课程、产品信息,请移步至全新呈现的“LeadAI学院官网”:

www.leadai.org

请关注人工智能LeadAI公众号,查看更多专业文章

大家都在看


LSTM模型在问答系统中的应用

基于TensorFlow的神经网络解决用户流失概览问题

最全常见算法工程师面试题目整理(一)

最全常见算法工程师面试题目整理(二)

TensorFlow从1到2 | 第三章 深度学习革命的开端:卷积神经网络

装饰器 | Python高级编程

今天不如来复习下Python基础

keras学习笔记-黑白照片自动着色的神经网络-Alpha版相关推荐

  1. keras学习笔记-黑白照片自动着色的神经网络-Beta版

    正文共3894个字,8张图,预计阅读时间11分钟. Alpha版本不能很好地给未经训练的图像着色.接下来,我们将在Beta版本中做到这一点--将上面的将神经网络泛化. 以下是使用Beta版本对测试图像 ...

  2. Keras学习笔记:序列式模型

    目录: 目录: 快速开始序列(Sequential)模型 指定输入数据的shape 编译 训练 例子 用于序列分类的栈式LSTM 采用stateful LSTM的相同模型 本系列参考官方文档官方文档 ...

  3. Keras学习笔记---保存model文件和载入model文件

    Keras学习笔记---保存model文件和载入model文件 保存keras的model文件和载入keras文件的方法有很多.现在分别列出,以便后面查询. keras中的模型主要包括model和we ...

  4. 深度学习(十)keras学习笔记

    keras学习笔记 原文地址:http://blog.csdn.net/hjimce/article/details/49095199 作者:hjimce keras与torch7的使用非常相似,是最 ...

  5. Keras学习笔记:函数式模型

    目录: 目录: 函数式(Functional)模型 第一个模型:全连接网络 多输入和多输出模型 让我们用函数式模型来实现这个框图 共享层 更多的例子 inception模型 卷积层的残差连接 共享视觉 ...

  6. linux磁盘符变化autofs,Linux基础教程学习笔记之Autofs自动挂载

    Linux基础教程学习笔记之Autofs自动挂载 Autofs自动挂载: yum -y install autofs vim /etc/auto.master  在文件中添加下面行 /home/gue ...

  7. [RHCSA学习笔记]Autofs实现自动挂载NFS共享

    NFS/autofs NFS Server 服务端 systemctl status nfs-server.service systemctl status rpcbind.service vi /e ...

  8. TensorFlow2.0 学习笔记(三):卷积神经网络(CNN)

    欢迎关注WX公众号:[程序员管小亮] 专栏--TensorFlow学习笔记 文章目录 欢迎关注WX公众号:[程序员管小亮] 专栏--TensorFlow学习笔记 一.神经网络的基本单位:神经元 二.卷 ...

  9. TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络

    TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络 转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnote ...

  10. tensorflow学习笔记二——建立一个简单的神经网络拟合二次函数

    tensorflow学习笔记二--建立一个简单的神经网络 2016-09-23 16:04 2973人阅读 评论(2) 收藏 举报  分类: tensorflow(4)  目录(?)[+] 本笔记目的 ...

最新文章

  1. Mysql无法选取非聚合列
  2. 原来BCH是这样转给别人的
  3. 云服务和独立服务器 我们应该怎么选?
  4. RSA加密算法详解以及RSA在laravel中的应用
  5. 小龙虾上天了!口碑APP推出飞机上扫码点餐服务
  6. 【Flutter】Dart 数据类型 字符串类型 ( 字符串定义 | 字符串拼接 | 字符串 API 调用 )
  7. 在CentOS下安装crontab服务
  8. python 如何用指数函数拟合数据?(2020年新型冠状病毒感染人数预测)
  9. R语言quantstrat包
  10. php打印出前一天时间戳,使用php 获取时间今天明天昨天时间戳的详解
  11. 也谈压缩感知(compressive sensing)
  12. HDOJ--3790--最短路径问题(双权值问题)
  13. jquery实现新浪微博的表情插件
  14. ubuntu笔记本gpu温度太高解决办法
  15. installanywhere打包过程(openproj版)
  16. python爬虫爬取《战狼Ⅱ》影评
  17. python爬取斗鱼主播图片
  18. SSH简介及登录方法
  19. 令人头疼的背包九讲(1)0/1背包问题
  20. Android Handler正确使用姿势

热门文章

  1. 2019级软件工程应用与实践-人工智能快递柜(代码分析9)
  2. 【读后感】《关键对话》
  3. 苹果home键失灵_苹果手机屏幕失灵售后教你怎么处理
  4. SVD求解线性方程组
  5. 我的科四刷题笔记,记完就能过
  6. 1446. 连续字符【我亦无他唯手熟尔】
  7. Conflux人物志 | Péter明哲 Marcel马驰
  8. mysql latch_MySQL中的latch(闩锁)详解——易产生的问题以及原因分析
  9. 软件设计 抽象_调试抽象给软件工程师带来正念的好处
  10. jcp jsr_“ IBM和Red Hat *不应*都保留其JCP EC席位”