本发明属于图像处理技术领域，涉及一种基于机器学习技术，采用强化学习去除图像噪声的方法。

背景技术：

随着计算机技术的发展，人们对于图像质量的要求越来越高。但是，由于环境或拍摄设备等因素，能够获得图像通常含有不同程度的噪音，这直接影响了后续应用的效率和正确率，因此，图像去噪技术具有很大的意义。

噪声可分为加性噪声和乘性噪声。近年来，去除图片中的噪音提高图片质量成为了视觉领域常见的内容。去噪的方法也可以分为两类：基于传统的数字图像处理方法；基于深度学习的方法。均值滤波、中值滤波、非局部均值滤波等都是经典的传统数字图像处理的去噪方法。但是，由于这些方法有一定的局限性，处理效果较差，效率较低，目前，更多采用的是基于深度学习的方法来去除噪声。jain[1]等人于2008年提出用cnn处理自然图像的去噪问题，避免了马尔可夫模型在概率学习和推断过程中计算困难的问题，降低了计算的复杂度；xie等人[2]于2012年利用栈式去噪自编码器进行图像去噪，模型中的网络结构使用多层全连接网络；mao等人[3]于2016年提出了深度的卷积编码解码网络应用于图像去噪，其中编码和解码结构对称，并且每隔几层就存在一条编码卷积层和解码卷积层之间的连接，解决了梯度弥散等问题。zhang等人[4]2017年提出的dncnn，采用残差学习策略，并加入批归一化方法。

虽然基于深度学习的去噪方法的效果有了很大的提高，但是他们的泛化性能较差，只能处理特定类型的噪声。

[1]jainv,sebastians.naturalimaginedenoisingwithconvolutionalnetworks[c].//advancesinneuralinformationprocessingsystems21,2008,pp.769-776

[2]xiej,xul,chene.imagedenoisingandinpaintingwithdeepneuralnetworks[c].//internationalconferenceonneuralinformationprocessingsystems,2012.

[3]maox,shenc,yangyb.imagerestorationusingverydeepconvolutionalencoder-decodernetworkswithsymmetricskipconnections[c].//advancesinneuralinformationprocessingsystems.2016:2802-2810.

[4]zhangk,zuow,cheny,mengd,zhangl.beyondagaussiondenoiser:residuallearningofdeepcnnforimagedenoising[j].ieeetransactionsonimageprocessing,26.7(2017):3142-3155.

技术实现要素：

本发明基于强化学习的方法，自主选择最合适的去噪工具，对图像进行去噪处理，增强输入图片的质量，提高后续算法的正确率和效率。技术方案如下：

一种基于强化学习的图像去噪方法，包括下列步骤：

第一步：制作噪声图片数据集

将公开的图片数据集按照15:1的比例分为训练集，测试集，用matlab对训练集和测试集进行预处理，加入不同程度的噪声；

第二步：设计去噪声工具

针对4种不同程度的噪声，采用卷积神经网络去噪算法，分别训练不同的去噪算法参数，并生成对应的meta文件，获得4个去噪声工具，每个工具对某个特定程度的噪声处理效果最好；

第三步，训练最优处理工具选择网络

对含噪声图像进行重建时，4个去噪声工具的恢复效果不同，需要设计自主选择最优处理工具的网络，采用dqn强化学习算法，将选择问题看作马尔科夫过程，用回报函数来评价每一个动作，面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化，将对去噪声工具的选择视为离散的动作，面对不同程度的含噪声图片选择最合适的恢复工具，从而得到最优处理工具；

最优处理工具选择网络时，设置训练参数：batch设置为32，学习率设置为0.0001，探索率初值0.1，迭代次数设置为100000次；测试时将batch设置为1，训练迭代结束或者收敛时，得到含噪声图片最优处理工具选择网络：输入噪声图片，输出最优处理工具对应的标号；

第四步，模型性能测试

将测试集中的含有4种不同程度噪声的图片输入最优处理工具选择网络中，得到各图片最优去噪模型对应的标号，并对噪声图片进行对应的去噪操作，得到去噪后图片；通过计算不含噪声的原始图片和去噪声后的图像之间的峰值功率信噪比psnr，对模型的性能进行评估，psnr值越高，恢复效果越好。

本发明提出的基于强化学习的去噪方法，集成了不同程度的去噪工具，去噪效果较好，泛化能力较强，便于在后续算法的应用，提高了正确率和效率。有益效果见表1。

表1结果统计表

附图说明

附图1强化学习基本结构

附图2噪声图_1

附图3结果图_1

附图4噪声图_2

附图5结果图_2

附图6噪声图_3

附图7结果图_3

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明具体实施方式做进一步地描述。

第一步：制作噪声图片数据集。

将div2k数据集按照15:1的比例分为训练集，测试集。并用matlab对训练集和测试集进行预处理，加入不同程度的噪声。考虑到高斯噪声在实际中经常出现，本发明加入的是4种不同程度的高斯噪声。

(1)加入图像噪声

对一幅输入图像f(x,y)进行处理，产生一幅退化后的图像g(x,y)。给定g(x,y)、退化函数h和加性噪声项η(x,y)，空间域中退化图像可由下式给出：

g(x,y)＝h(x,y)*f(x,y)+η(x,y)

在频域上：

g(u,v)＝h(u,v)f(u,v)+n(u,v)

加入噪声及其参数如下表所示：

表2加入噪声及其参数

第二步，设计去噪声工具。

针对4种不同程度的噪声，分别训练去噪算法参数，并生成对应的meta文件，获得4个去噪声工具，每个工具对某个特定程度的噪声处理效果最好。本发明采用的是卷积神经网络去噪算法。

第三步，训练最优处理工具选择网络。

对含噪声图像进行重建时，4个处理工具的恢复效果不同，所以应当设计自主选择最优处理工具的网络。强化学习算法，将选择问题看作马尔科夫过程，用回报函数来评价每一个动作。面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化。本发明采用dqn强化学习算法，将处理工具的选择视为离散的动作，面对不同程度的含噪声图片选择最合适的恢复工具。

本发明dqn算法中，环境状态st＝{it,vt}，其中it表示输入的噪声图片向量，vt表示历史动作向量，第一步时，vt为0向量；t时刻个体采取的动作at∈{4个工具}，采取动作即选择一种工具处理噪声图片，获得重建后图片，转换状态至st+1，同时得到环境的奖励rt，计算公式如下：

rt＝||itarget-it-1||2-||itarget-it||2

其中itarget表示无噪声原图；累计回报函数q(t)＝e(rt+1+λrt+2+λ2rt+3+…|st)，其中e是期望函数，λ是衰减因子，累计回报函数q(t)最大化与选择最优处理工具问题等价。

由于本发明所使用的训练图片尺寸较大，经过多次实验结果，确定训练最优处理工具选择网络参数调整方案：batch设置为32，学习率设置为0.0001，探索率初值0.1，迭代次数设置为100000次。测试时将batch设置为1，即每次只处理一张图像。训练最优处理工具选择网络参数，使得目标函数累计回报函数q(t)最大化。实验环境为ubuntu16.04操作系统，利用nvidia公司6gb显存的rtx2060gpu进行训练并利用cuda进行训练的加速。

训练迭代结束或者累计回报函数q(t)收敛时，得到含噪声图片最优处理工具选择网络：输入噪声图片，输出最优处理工具对应的标号。

第四步：模型性能测试

将测试集中的含有4种不同程度噪声的图片输入最优处理工具选择网络中，得到各图片最优去噪算法对应的标号，并对噪声图片进行对应的去噪操作，得到去噪后图片。通过计算不含噪声的原始图片和去噪声后的图像之间的峰值功率信噪比psnr，对模型的性能进行评估，psnr值越高，恢复效果越好。

psnr的定义为：

其中m,n,c表示图像的尺寸，本发明中为256，256，8；x为不含噪声的原始图片，y为去噪声后的图片，maxi是像素最大值，即为255。

对实验数据进行分析与处理，评价本发明去噪声的性能。测试后结果如表1所示，对比可知，本发明去噪效果较好，在一定程度上提高了图片质量。