【编者按】近些年,基于深度学习的发展,计算机视觉在人工智能和深度学习的大背景下方兴未艾,与此同时,当越来越多的应用场景被挖掘出来时,也意味着计算机视觉的发展前景将无比广阔,其中图像处理技术就是最热门的应用之一,而最近一段时间,图像处理技术中最受欢迎的必须是图像修复功能,一键修复老照片等App应用,在社交网络上掀起一股潮流。

作者 | 李秋键

责编 | 夕颜

出品 | CSDN(ID:CSDNnews)

图像识别技术本身的原理并不复杂,信息的处理是这一技术的关键点所在。近年来,由于深度学习的发展,大大提高了图像识别的准确率,深度学习通过大量图像数据信息特征的积累与分析,可自动完成特征提取和图像匹配等任务。最近一段时间,最受欢迎的必须是图像修复功能。

早在文艺复兴时期,人们就开始修复一些中世纪的艺术品,其目的在于通过填补一些裂缝来使画面恢复原貌,这一工作就称之为"Inpainting"(修复,润饰)或"Retouching"。M.Bertalmio首次提出许多图像修复能被简化为一个数学表达式,利用计算机能自动加以实现。图像修复现已是计算机图形学和计算机视觉中的一个研究热点,在文物保护、影视特技制作、虚拟现实、多余物体剔除(如视频图像中删除部分人物、文字、小标题等)等方面有着重大的应用价值。

其中常见的修复方法有:

  • 偏微分方程的方法:Bertalmio采用偏微分方程(PDE)的方法进行图像修复,取得了较好的效果。用户需指定需要修复的区域,算法将待修补的区域边界的等值线外部的信息沿轮廓法向扩散到中间待修补的象素上。该算法利用局部颜色的光滑度沿着等值线扩散,考虑了各向异性的扩散,以保证边缘处的边界连续,但该方法计算不稳定。

  • 整体变分方法和基于曲率的扩散模型:整体变分方法(TV,TotalVariational)采用了欧拉-拉格朗日方程和各向异性的扩散,基于曲率的扩散模型(CDD,Curvature-DrivenDiffusion)方法是整体变分方的一种扩展,在扩散过程中考虑了轮廓的几何信息(曲率),可以处理较大的区域,但边界处往往很模糊。

  • 高斯卷积核对图像进行滤波的方法:利用了高斯卷积核对图像进行滤波,能快速地修复破损区域,但该算法仅考虑了破损区域边缘一周的图像颜色值,使得其仅适用于破损区域为2-3个象素宽度的情形。

  • 纹理合成的方法:纹理合成的方法,能较好地去除图像中的大块污斑,但由于算法运行时间不是与掩模区域成正比,而是与图像大小成正比,因此修复时间相对较长。

而今天我们就将借助Python实现我们的修图效果

实验前的准备

首先我们使用的python版本是3.6.5。所测试的系统有windows10,windows7,Linux系统以及苹果系统。从这点也可以看出python多平台和多拓展性、易于迁移的优点。

所使用的的python库有cv2库,目的是用来读取图片,处理图片像素值和保存图片等;numpy用来对读取过来的像素值矩阵进行运算。

修复程序处理一的搭建

1、图像处理第一步:

首先我们所借助常用的OpenCV处理手段进行处理图片。首先进行的是图片二值化处理和创建结构元素,其中详细代码如下:

import cv2
import numpy as np
path = "13.jpg"
img = cv2.imread(path)
hight, width, depth = img.shape[0:3]
#图片二值化处理,把[240, 240, 240]~[255, 255, 255]以外的颜色变成0
thresh = cv2.inRange(img, np.array([240, 240, 240]), np.array([255, 255, 255]))
#创建形状和尺寸的结构元素
kernel = np.ones((3, 3), np.uint8)

2、扩张修复区域:

识别到修复区域并根据相邻像素值进行扩张达到弥补像素值修复图片的效果。cv2.inpaint()函数主要涉及两种算法。

一种算法是从该区域的边界开始,然后进入区域内,逐渐填充边界中的所有内容。它需要在邻近的像素周围的一个小邻域进行修复。该像素由邻居中所有已知像素的归一化加权和代替。选择权重是一个重要的问题。对于靠近该点的那些像素,靠近边界的法线和位于边界轮廓上的像素,给予更多的权重。

另一种是基于流体动力学并利用偏微分方程。基本原则是heurisitic。它首先沿着已知区域的边缘行进到未知区域(因为边缘是连续的)。它继续等照片(连接具有相同强度的点的线,就像轮廓连接具有相同高度的点一样),同时在修复区域的边界处匹配渐变矢量。为此,使用来自流体动力学的一些方法。获得颜色后,填充颜色以减少该区域的最小差异。

详细代码如下:

#扩张待修复区域
hi_mask = cv2.dilate(thresh, kernel, iterations=1)
specular = cv2.inpaint(img, hi_mask, 5, flags=cv2.INPAINT_TELEA)
cv2.namedWindow("Image", 0)
cv2.resizeWindow("Image", int(width / 2), int(hight / 2))
cv2.imshow("Image", img)
cv2.namedWindow("newImage", 0)
cv2.resizeWindow("newImage", int(width / 2), int(hight / 2))
a=cv2.imshow("newImage", specular)
cv2.imwrite("43.jpg",specular)
cv2.waitKey(0)
cv2.destroyAllWindows()

修复程序处理二的搭建

1、图像处理第二步:

转换成hsv值,根据hsv值判断图片的前景和后景。HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法。HSV即色相(Hue)、饱和度(Saturation)、明度(Value),又称HSB(B即Brightness)。色相是色彩的基本属性,就是平常说的颜色的名称,如红色、黄色等。饱和度(S)是指色彩的纯度,越高色彩越纯,低则逐渐变灰,取0-100%的数值。明度(V),取0-max(计算机中HSV取值范围和存储的长度有关)。HSV颜色空间可以用一个圆锥空间模型来描述。圆锥的顶点处,V=0,H和S无定义,代表黑色。圆锥的顶面中心处V=max,S=0,H无定义,代表白色。其中主要用到的函数是cv2库中的cv2.cvtColor()函数,将RGB图像(在opencv中设计BGR图像)转换为HSV图像用到了参数cv2.COLOR_BGR2HSV。

详细代码如下:

import cv2
import os
import numpy as np
sta=0
for file in os.listdir("cut_test"):sta=sta+1print("正在处理"+"cut_test/" + file)img = cv2.imread("cut_test/" + file)#img=cv2.imread('1.jpg')rows,cols,channels = img.shapecropped = img[0:479, 0:cols]#转换hsvhsv=cv2.cvtColor(cropped,cv2.COLOR_BGR2HSV)# 图片二值化处理,把[240, 240, 240]~[255, 255, 255]以外的颜色变成0thresh = cv2.inRange(hsv, np.array([90,10,125]), np.array([135,180,255]))erode = cv2.erode(thresh, None, iterations=2)dilate = cv2.dilate(erode, None, iterations=0)# 创建形状和尺寸的结构元素kernel = np.ones((3, 3), np.uint8)

2、图像修复:

在扩张修复区域的基础上外加调整像素值图片处理。

其中腐蚀操作详细如下:

定义了一个十字形结构元素 其实是一个矩阵,我们知道在图片的腐蚀过程,对图片的每个点,使用这个结构扫描每一个点,用结构元素与其覆盖的二值图像做“与”操作,如果都为1,结果图像的该像素为1。否则为0,腐蚀处理的结果是使原来的二值图像减小一圈。使用的函数:cv2.erode(img,kernel);

膨胀操作详细如下:

使用同样的结构,对图片的每个点,使用这个结构扫描每一个点,用结构元素与其覆盖的二值图像做“与”操作,如果出现1,结果图像的该像素为1。否则为0,腐蚀处理的结果是使原来的二值图像扩大一圈。使用的函数:cv2.dilate(img,kernel)

详细代码如下:

# 扩张待修复区域hi_mask = cv2.dilate(dilate, kernel, iterations=1)specular = cv2.inpaint(cropped, hi_mask, -5, flags=cv2.INPAINT_NS)#合并htich = np.vstack((specular, img[479:rows, 0:cols]))'''blue=[]#获取mask,调整lower中h控制颜色lower_blue=np.array([90,10,125])upper_blue=np.array([135,180,255])mask = cv2.inRange(hsv, lower_blue, upper_blue)erode=cv2.erode(mask,None,iterations=1)dilate=cv2.dilate(erode,None,iterations=1)#腐蚀膨胀erode=cv2.erode(mask,None,iterations=1)cv2.imshow('erode',erode)dilate=cv2.dilate(erode,None,iterations=1)cv2.imshow('dilate',dilate)for i in range(rows):for j in range(cols):if dilate[i,j]==255:blue.append([i,j])for w in blue:x=w[0]y=w[1]img[x,y]=[255,255,255]'''cv2.imwrite("dels_test/" + str(sta) + ".jpg", htich)
'''cv2.imshow('Mask', img)cv2.waitKey(0)cv2.destroyAllWindows()
'''

最终效果如图所示(右边是修复效果):

怎么样?这修复效果还不错吧?赶紧动手练起来,掌握一门千万修图师技能吧!

作者简介

李秋键,CSDN 博客专家,CSDN达人课作者。硕士在读于中国矿业大学,开发有taptap安卓武侠游戏一部,vip视频解析,文意转换工具,写作机器人等项目,发表论文若干,多次高数竞赛获奖等等。

—— 推 荐 阅 读 ——你的每一个“在看”,都是我们最好的期盼

AI 智能修复老照片,效果惊艳到我了!| 附代码相关推荐

  1. Python让你成为AI 绘画大师,简直太惊艳了!(附代码))

    作者 | 李秋键 责编 | 李雪敬 头图 | CSDN下载自视觉中国 引言:基于前段时间我在CSDN上创作的文章"CylcleGAN人脸转卡通图"的不足,今天给大家分享一个更加完美 ...

  2. Python让你成为AI 绘画大师,简直太惊艳了!(附代码)

    作者 | 李秋键 责编 | 李雪敬 头图 | CSDN下载自视觉中国 引言:基于前段时间我在CSDN上创作的文章"CylcleGAN人脸转卡通图"的不足,今天给大家分享一个更加完美 ...

  3. python ai取名_Python让你成为AI 绘画大师,简直太惊艳了!(附代码)

    作者 | 李秋键 责编 | 李雪敬 头图 | CSDN下载自视觉中国 引言:基于前段时间我在CSDN上创作的文章"CylcleGAN人脸转卡通图"的不足,今天给大家分享一个更加完美 ...

  4. Opencv实战之图像的基本操作:这效果出来惊艳了众人(附代码解析)

    前言

  5. Ai绘画工具有哪些?推荐这7款效果惊艳的AI绘画神器

    2022虽然不是ai绘图这项技术诞生的时间,但却是到目前为止最爆火出圈的绘图元年. AI绘图(AI painting)就是以文生图(text2image),属于跨模态生成(Cross-modal ge ...

  6. 想知道什么工具可以智能修复老照片?不妨看看这篇文章

    随着当今科技发展,市面上出现了越来越多图片处理工具,其中就包含着修复老照片,于是许多小伙伴也想尝试将自己家的老照片进行修复,为其重焕光彩. 虽然市面上可以修复照片的工具有不少,但大部分都不是免费的.所 ...

  7. 吴恩达斯坦福CS230第一名:图像超级补全,效果惊艳(附代码)

    [新智元导读]图像修复(Image inpainting)是一个已经被广泛研究的计算机视觉问题,即恢复图像中缺失的部分.斯坦福大学CS230课程的Mark Sabini等人提出"Image ...

  8. 2018全球人工智能技术大会:AI做什么,才能惊艳到你?

    <倚天屠龙记>中,峨眉掌门斗敌不过,便使了倚天剑,寄希望于用天下最具杀伤力的兵器给自己战力多一份加成.如今,在各个行业的力求IT可以更多赋能企业创新核心的问题上,AI技术正在扮演倚天剑的角 ...

  9. html5 游戏 动画设计,11款效果惊艳的HTML5动画应用

    11款效果惊艳的HTML5动画应用 来源:极客头条 HTML5真的很棒,我们这个网站也每天在为大家分享很多炫酷而实用的HTML5和CSS3应用.今天要分享的有很多效果惊艳而且好玩的HTML5动画应用, ...

最新文章

  1. SpringBoot下文件上传与下载的实现
  2. LED和LCD的区别
  3. XML Json
  4. think php自增,thinkphp5分表自增ID解决方案
  5. mysql 重试_重试MySQL/SQLAlchemy的死锁
  6. 高内聚低耦合_高渗透环氧树脂灌浆料
  7. P4123-[CQOI2016]不同的最小割【网络流,分治】
  8. 使用NetBeans 7.4 beta提示进行更好的基于JUnit的单元测试
  9. 42岁!他成为2019年最年轻中科院院士!一篇论文未发博士毕业
  10. Qt关于Tcp通信步骤的总结
  11. TreeView 控件帮助文件
  12. 面向搜索引擎的内容管理系统(CMS)设计
  13. Spring Cloud 服务消费者 rest+ribbon (二)
  14. key rocketmq 有什么用_rocketmq 介绍(一)
  15. npm下载安装教程_npm下载,安装和使用教程
  16. Spark性能优化之通过YDB实现比原生Spark性能高100倍的多表关联
  17. 关键词词云怎么做_关键词云图生成器
  18. MyEclipse 安装教程
  19. PTA实验4-1-3 找出最小值 (20分) 本题要求编写程序,找出给定一系列整数中的最小值。
  20. java图片式验证码的实现(引入hutool工具类和自己编写工具类两种方法)

热门文章

  1. 计算机重启恢复系统怎么操作,电脑如何恢复出厂设置 电脑开机怎么一键还原...
  2. 上位机入门之二进制置位
  3. foobar2000隐藏桌面悬浮窗头像_如何解锁华为手机隐藏的超能力?
  4. 学会做笔记-子弹笔记学习概要二
  5. 计算机桌面音量键在哪,win7系统控制音量的快捷方式有哪些
  6. Fastadmin 阿里云Oss插件的配置
  7. 第二讲:ADS入门和Data DisPlay操作详解
  8. 实验07 PHP互动网页
  9. 解决小程序Input框输入文字后触摸并滚动屏幕不松开,input内文字一起滚动问题
  10. dubbo分布式框架