代码资源

图片数据集

摘 要

基于内容的图像检索系统（Content Based Image Retrieval, 以下简称 CBIR），是计算机视觉领域中关注大规模数字图像内容检索的研究分支。本文实现的 CBIR 系统，允许用户输入一张图像，在图像数据库中查找具有相同或相似内容的其它图片。本文共实现七种方法基于内容的图像检索，其中基于深度学习的迁移学习法可以得到最好的检索效果，三种特征信息综合的方法次之。本文实现的方法分别是：基于颜色信息的图像检索，包括：HSI中心矩法和HSV中心矩法；基于纹理特征的图像检索，采用灰度共生矩阵实现；基于形状特征的图像检索，采用形状不变矩法；基于综合信息的图像检索，包括将三种特征信息综合的方法，主成分分析法，基于深度学习的迁移学习法。文主要工作如下：
(1) 研究了基于颜色的HSI中心矩法和HSV中心矩法在图像检索系统中的应用。首先介绍了RGB颜色空间，HSI颜色空间和HSV颜色空间，然后实现了基于颜色HSI中心矩法和HSV中心矩法图像检索的方法。
(2) 研究了纹理特征在图像检索中的应用。首先介绍了灰度共生矩阵进行纹理特征的原理，然后具体实现了灰度共生矩阵实现图像检索的方法。
(3) 研究了形状特征在图像检索系统中的应用。分别介绍了形状不变矩法和边缘直方图法实现基于形状的图像检索方法，实现了基于形状不变矩法图像检索的方法。
(4) 研究了三种特征信息综合的方法。本文实现了将HSI中心矩法，灰度共生矩阵法和形状不变矩法三种方法得到的特征值结合起来，作为一个维数更高的特征向量，对图像内容进行检索。
(5) 研究了主成分分析法进行图像特征提取的方法。首先介绍了主成分分析法的基本原理，然后具体实现了运用主成分分析法进行图像检索。
(6) 研究了迁移学习方法在图像检索系统中的应用。首先介绍了DenseNet201的网络结构，然后对图片数据集进行划分，采用了的预训练模型进行图像类别识别得到图片类别，最后结合三种特征信息筛选出相似图片完成图像检索。

Abstract

Content-based image retrieval system is a research branch in the field of computer vision that focuses on large-scale digital image content retrieval. The CBIR system implemented in this article allows users to input an image and search for other images with the same or similar content in the image database. This article implements seven methods of content-based image retrieval, of which the transfer learning method based on deep learning can get the best retrieval effect, and the three methods of feature information integration are the second. The methods implemented in this paper are: image retrieval based on color information, including: HSI central moment method and HSV central moment method; image retrieval based on texture features, using gray-level co-occurrence matrix; image retrieval based on shape features, using shape Variable moment method; image retrieval based on comprehensive information, including the method of integrating three kinds of characteristic information, principal component analysis method, and transfer learning method based on deep learning. The main work of this article is as follows:
(1) Research the application of color-based HSI central moment method and HSV central moment method in image retrieval system. First introduced the RGB color space, HSI color space and HSV color space, and then realized the method of image retrieval based on the color HSI central moment method and HSV central moment method.
(2) The application of texture features in image retrieval is studied. Firstly, the principle of the gray-level co-occurrence matrix for texture feature is introduced, and then the method of the gray-level co-occurrence matrix to realize image retrieval is realized.
(3) The application of shape feature in image retrieval system is studied. The shape-invariant moment method and the edge histogram method are respectively introduced to realize the shape-based image retrieval method, and the method based on the shape invariant moment method is realized.
(4) Three methods of feature information synthesis are studied. In this paper, the eigenvalues obtained by the three methods of HSI central moment method, gray-level co-occurrence matrix method and shape invariant moment method are combined to retrieve the image content as a higher-dimensional eigenvector.
(5) The method of principal component analysis for image feature extraction is studied. First introduced the basic principle of the principal component analysis method, and then concretely realized the use of principal component analysis method for image retrieval.
(6) Research the application of transfer learning method in image retrieval system. First, the network structure of DenseNet201 is introduced, and then the image data set is divided, the pre-training model is used to identify the image category to obtain the image category, and finally the three kinds of feature information are combined to screen out similar images to complete the image retrieval.

第一章 绪论

1.1 课题研究背景与意义

近年来，随着通信及多媒体技术、计算机网络、大容量存储器以及数字化图像设备如扫描仪、数字相机等技术的迅速发展,对数字图像的使用包括国防军事、工业制造、医疗卫生、新闻媒体、大众娱乐和家庭生活等各个方面。在如此广泛的应用背景下，产生了大量的各式各样的图像数据库，图像数据出现了按指数级增长的趋势。如何更好地应用视觉数据，实现方便、快速、准确地查询和检索到用户所需的图像信息，使管理者可以从大量的单调的人工管理工作中解放出来，已成为人们迫切需要解决的问题。
传统的数据库检索方法在进行上述方面的信息检索时，效果往往不够理想。这是因为传统数据库在进行信息检索时，主要依据关键字和文本信息进行检索。不能提供相似性检索。基于文本的检索是指对图像文件建立关键字或文本标题以及一些附加信息对图像进行描述，然后将图像的存储路径和图像的关键词建立联系。这种方法的缺点主要在于：随着大量图像的出现，需要大量的人力物力去管理和注释这些图像；不同的人对同一幅图像的理解不同，文本描述信息相对主观，不准确等等。因而仅仅基于关键词的检索已经不能满足用户的检索要求。并且，传统的数据库检索结果与信息的组织方式及查询结果的显示方式有关，无法按照查询结果的相似程度进行输出。
为了解决上述问题基于内容的图像检索应运而生。CBIR与传统的文本信息的检索不同，它是直接对图像的内容进行分析，通过计算机程序自动原图像的内容特征并按一定规则进行量化，得到特征向量用来表征整个图像。在此基础上，利用这些已经得到的特征向量建立索引进行检索。基于内容的图像检索系主要是把图像的颜色、纹理、形状等可视化特征作为图像的内容特征进行匹配、查找。特征的提取和匹配过程完全可以由机器自动完成， 可以解决手工注释的低效性和二义性。

1.2 国内外研究现状

在20世纪70年，数据库专家便已经着手研究图像数据信息的管理方案，管理图像数据信息在早期，主要方法通常是对图像文件附加描述信息，例如编号，主题，作者，发布时间等文本信息，以及通过人工方式对图像内容进行描述的关键词并将这些记录与图像在磁盘上的存储路径建立关联。由此可见，早期的图像检索技术很大程度上依赖于人工对图像的标注，在数据库中存储图像描述记录，然后基于文本关键词在数据中进行检索，并没有利用原始的图像内容信息，其在本质上依然是文本信息检索。随着数据库技术的长足进步，大型商业数据库已经可以支持以二进制形式存储图像，但是在管理方式上，依旧是通过图像描述信息建立联系。
基于内容的图像检索技术由Smeulders AWM在20世纪90年代提出，主要研究内容为图像的特征提取，特征匹配，特征索引以及检索评价指标等，该技术的主要思想是利用计算机视觉和数字图像处理的方法实现对图像内容的视觉特征的分析及提取，映射为特征向量,用以对图像的视觉特征的描述,并引进度量函数，以此衡量图像间的相似度,从而达到从图像数据库中检索出相似度较高的图像的目的[1]。
传统的CBIR技术原理主要利用了低层次的视觉特征，比如颜色信息，结构信息，纹理信息等,它们大多数使用浅层分类器，如SVM 来对图像语义进行分类。传统的CBIR技术均是基于低层次的视觉特征相似性判定,这样使得系统存在-一个瓶颈，它和人类从高级的图像语义特征得到的相似性的往往存在差距，或称之为“语义鸿沟”。
在高层次上，CBIR技术属于人工智能领域，在解决语义鸿沟问题上，机器学习是现阶段中所开发的技术里最具有前景的技术[2]。随着Hinton等人在深度学习模型优化问题取得了巨大进步[3]，深度技术得到了快速发展，是人工智能领域在近几十年来取得长足进步的重要技术。深度学习发展自人工神经网络，是机器学习相关领域中一系列算法的简称，至今其框架种类已十分丰富，如深度神经网络(Deep Neural Network, DNN)，卷积神经网络(Convolutional Neural Network, CNN)和循环神经网络( Recurrent Neural Network, RNN),它们在图像及视频分析，语音识别，自然语言处理等多媒体均匀大量应用，并取得前所未有的成功。其中视觉表征领域中，使用最为广泛的模型为卷积神经网络，该模型允许局部感受野，与人类视觉感受相符，权值共享策略使得训练参数较全链接网络大量减少，实现以少量参数从原始图像到抽象语义表征映射[4]。

第二章 相关内容综述

2.1 图像检索的系统结构

基于内容的图像检索技术是对输入的图像进行分析并分类统一建模，提取其颜色、纹理、形状等特征，建立特征索引, 存储于特征数据库中[5]。检索时，用户提交查询的源图像，通过用户接口设置查询条件，可以采用一种或几种的特征组合来表示，然后在图像数据库中提取出查询到的所需关联图像，按照相似度从大到小的顺序，反馈给用户。用户可根据自己的满意程度，选择是否修改查询条件，继续查询，以达到满意的查询结果。
基于内容的图像检索系统框架如图1所示。系统的核心是图像特征数据库。图像特征可以从图像本身提取得到, 又可以通过用户交互获得, 并用于计算图像之间的相似度计算。系统框架应主要包含以下几个基本功能模块：检索方法设置、检索结果浏览、数据库管理维护等。其逻辑结构如图2所示。

本文的CBIR系统典型界面如图3所示。该界面主要包括：待检索图像实现渲染，检索出的50幅图像滚动显示区域、树形控件、检索菜单参数设置等。

2.2 图像预处理

图像预处理的方法主要包括：统一图像大小，使得每一幅待检索图像大小一致；图像降噪，避免图像噪声带来的影响。可使用数字图像处理课程中所学各种方法，如高斯模板、中值滤波等来实现；图像增强，主要用来增强对比度等。可使用数字图像处理课程中所学各种方法，如直方图均衡化等方法实现。
本文主要采用了统一图像大小与中值滤波进行图片预处理。

2.3 图像的特征提取

图像的特征提取主要针对图像的颜色，纹理和形状。图像颜色特征采用HSI 中心矩法和HSV中心矩法为每张图片获取九个特征值，以图片路径作为关键字用“–>”分隔，存放在图像特征数据库中。图像纹理特征采用灰度共生矩阵法为每张图片获取八个特征值，以相同的格式存放在图像特征数据库中。图像形状特征采用形状不变矩法为每张图片获取七个特征值，存放在图像特征数据库中。
对于综合属性检索，本文采用三种 “特征向量”：a) 三种特征综合的方法：将上述得到的图像颜色特征（HSI 中心矩法），图像纹理特征（灰度共生矩阵法）和图像形状特征（形状不变矩法）三个向量化为一个维数更高的特征向量。b) 主成分分析法：对图像进行预处理后，再对其进行主成分分析得到一个由64个主成分值组成的向量作为特征向量。c) 迁移学习法：利用网络DenseNet201训练模型，通过训练好的模型为每张图片打上类别标签，然后在进行图像检索时首先选出同类图像，然后再根据三种特征综合的方法为每张图像计算相似度。

2.4 相似度匹配

在基于内容的图像检索中，两幅图像是否相似是指图像的特征向量是否相似。常用的图像相似性测度通常采用几何模型，将图像特征看作是向量空间中的点，通过计算两个点之间的接近程度来衡量图像特征之间的相似度。基于内容的图像检索算法主要有最邻近查询算法和区间查询算法，它们都依赖于距离函数或者相似性度量[6]。算法步骤如下：
(1) 按照前文方法，计算出待检索图像的特征。
(2) 利用距离度量函数计算待检索图像特征和图像特征库间的距离。
(3) 对计算出的距离值按照相似性大小进行高低排序。
(4) 对计算出的距离值按照相似性大小进行高低排序
下面分别以图像的直方图和中心矩为例来说明图像特征匹配的相似性度量函数计算方法。
(1) 一般欧氏距离函数

(2) 加权距离函数

(3) 相交法度量函数

(4) 中心矩法的度量函数

本文为用户提供以上四种距离函数的实现接口，用户可以根据自己的需要选择所需的相似性度量函数计算方法，如图4所示。

2.5 数据库的构建和实现

本文采用文本数据库的形式存储所有的特征向量，以“文件绝对路径–>特性向量/类别标签”的形式存储在txt文件中。采用HSI 中心矩法得到的图像颜色特征；采用HSV中心矩法得到的图像颜色特征；采用灰度共生矩阵法得到的图像纹理特征；采用形状不变矩法得到的图像形状特征；主成分分析法得到的图像主成分特征；迁移学习法得到的图像类别标签。
2.6 系统介绍
界面最上方菜单栏依次是：“文件”，“基于颜色检索”，“基于纹理检索”，“基于形状检索”，“综合属性检索”，“帮助”六个选项，在下面进行详细阐述。界面左上方是图库目录，展示图库中所有的图片的地址；界面左侧中间提供“中心矩”，“欧氏距离”，“加权距离”，“相交法度量”四种距离度量函数选择框，紧接着右侧提供“复位”按钮，用户可以将系统从不合理状态进行复位，保证系统鲁棒性。界面左下方实时展示当前需要检索的图片。界面右侧实时显示检索的结果，支持多达50张相似图片的滚动显示，如图5所示。当检索完毕后，用户可以点击匹配出的相似图片，系统绘制出目标图片与结果图片最相似的20个相似特征点，如图6所示。

对于菜单栏的“基于颜色检索”选项，当用户点击时会出现HIS，HSV两种方法的选择框，用户可以按需选择，如图7所示。

对于菜单栏的“综合属性检索”选项，当用户点击时会出现三种特征综合法，主成分分析法，迁移学习法三种方法的选择框，用户可以按需选择，如图8所示。

本系统的一个特色是，当用户点击菜单栏的“帮助”选项时，系统会主动跳转到该系统的帮助网站首页，如图9所示。

系统首页介绍了一些CBIR系统的基本信息，网页右侧是菜单栏包括“介绍，使用用法，下载和其他”，点击“使用用法”选项进入系统使用方法说明网页，如图10所示。点击“下载”选项进入系统下载网页，在该网页用户可以下载系统源代码及数据集，如图11所示。

第三章 基于颜色特征的图像检索技术

颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相关。此外，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的检索性。利用颜色特征进行检索的方法主要基于直方图，如：直方图相交法，比例直方图法，距离法，参考颜色表法和聚类算法，累计直方图法，此外，还有 HSI中心矩法。

3.1 颜色空间

3.1.1 RGB颜色空间

RGB(red,green,blue)颜色空间最常用的用途就是显示器系统，彩色阴极射线管，彩色光栅图形的显示器 都使用R、G、B数值来驱动R、G、B 电子枪发射电子，并分别激发荧光屏上的R、G、B三种颜色的荧光粉发出不同亮度的光线，并通过相加混合产生各种颜色；扫描仪也是通过吸收原稿经反射或透射而发送来 的光线中的R、G、B成分，并用它来表示原稿的颜色[7]。RGB色彩空间称为与设备相关的色彩空间，因为不同的扫描仪扫描同一幅图像，会得到不同色彩的图像数据；不同型号的显示器显示同一幅图像，也会有不同的色彩显示结果。

3.1.2 HSI颜色空间

HSI色彩空间是从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation或Chroma)和亮度 (Intensity或Brightness)来描述色彩[8]。HSI色彩空间可以用一个圆锥空间模型来描述。用这种 描述HSI色彩空间的圆锥模型相当复杂，但确实能把色调、亮度和饱和度的变化情形表现得很清楚。 通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩处理和识别，人的视觉系统经常采用HSI色彩空间，它比RGB色彩空间更符合人的视觉特性。在图像处理和计算机视觉中大量算法都可在HSI色彩空间中方便地使用，它们可以分开处理而且是相互独立的。因此，在HSI色彩空间可以大大简化图像分析和处理的工作量。HSI色彩空间和RGB色彩空间只是同一物理量的不同表示法，因而它们之间存在着转换关系。

3.1.3 HSV颜色空间

HSV(hue,saturation,value)颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集，圆锥的顶面对应于V=1。它包含RGB模型中的R=1，G=1，B=1 三个面，所代表的颜色较亮[9]。色彩H由绕V轴的旋转角给定。红色对应于角度0°，绿色对应于角度120°，蓝色对应于角度240°。在HSV颜色模型中，每一种颜色和它的补色相差180°。 饱和度S取值从0到1，所以圆锥顶面的半径为１。HSV颜色模型所代表的颜色域是CIE色度图的一个子集，这个模型中饱和度为百分之百的颜色，其纯度一般小于百分之百。在圆锥的顶点(即原点)处，V=0，H和S无定义， 代表黑色。圆锥的顶面中心处S=0，V=1，H无定义，代表白色。从该点到原点代表亮度渐暗的灰色，即具有不同灰度的灰色。对于这些点，S=0，H的值无定义。可以说，HSV模型中的V轴对应于RGB颜色空间中的主对角线。在圆锥顶面的圆周上的颜色，V=1，S=1，这种颜色是纯色。HSV模型对应于画家配色的方法。画家用改变色浓和色深的方法从某种纯色获得不同色调的颜色，在一种纯色中加入白色以改变色浓，加入黑色以改变色深，同时加入不同比例的白色，黑色即可获得各种不同的色调。

3.2 HSI中心矩法

颜色矩（color moments）是由Stricker 和Orengo所提出的一种非常简单而有效的颜色特征[10]。这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。与颜色直方图相比，该方法的另一个好处在于无需对特征进行向量化。因此，图像的颜色矩一共只需要9个分量（3个颜色分量，每个分量上3个低阶矩），与其他的颜色特征相比是非常简洁的。在实际应用中，为避免低次矩较弱的分辨能力，颜色矩常和其它特征结合使用，而且一般在使用其它特征前，起到过滤缩小范围（narrow down）的作用。
HSI中心矩法算法步骤如下所示：
(1) 图像灰度化 Gray=0.30R+0.59G+0.11*B。
(2) 将图像从 RGB 颜色空间转至 HSI 颜色空间.
(3) 以 HSI 空间的 Hue 分量为例，如果记 Hue(pi)为图像 P 的第 i 个像素的 Hue 值，则其前三阶中心矩分别为:

(4) 将特征值存放在图像特征数据库中。

3.3 HSV中心矩法

HSV中心矩法与HSI中心矩法及其类似，只是颜色空间不同，因此不在此处赘述。

3.4 实验结果与分析

选择三张代表性图片进行实验，分别是：/yin_yang/image_0001.jpg，/accordion/image_0001.jpg，/airplanes/image_0001.jpg，如图12所示。

选择这三张图片的原因：对于第一张图片，它具有良好的颜色特征和形状特征，对于第二张图片，它具有良好的纹理特征，而第三张图片的颜色特征，纹理特征和形状特征均不明显，这样可以更好的测试出几种方法的优劣。
第一张图片在HSI和HSV上的检索结果如图13所示。第二张图片在HSI和HSV上的检索结果如图14所示. 第三张图片在HSI和HSV上的检索结果如图15所示。

通过上述实验不难看出，无论在哪一张实验图片上，HSI方法均有更加优良的检索效果，虽然差距不明显。

第四章 基于纹理特征的图像检索技术

纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。用户可通过提交包含有某种纹理的图像来查找含有相似纹理的其他图像[11]。从人类的感知经验出发, 纹理特征主要有粗糙性、方向性和对比度。纹理分析方法，大致可分为两类：（1）统计方法。用于分析像木纹、沙地、草坪等细致而不规则的物体，并根据关于像素间灰度的统计性质对纹理规定特征及特征与参数间的关系。（2）结构方法。适于像布料的印刷图案或砖瓦等一类元素组成的纹理及其排列比较规则的图案, 然后根据纹理基元及其排列规则来描述纹理的结构及特征、特征与参数间的关系。

4.1 灰度矩阵法

共生矩阵用两个位置的像素的联合概率密度来定义，它不仅反映亮度的分布特征，也反映具有同样亮度或者接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础[12]。由于纹理是由灰度在空间位置上反复出现而形成的，因而在图像空间中像个某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某个距离的两像素分别具有某灰度的状况进行统计得到的。
一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。

4.2 实验结果与分析

第一张实验图片采用灰度矩阵法的检索结果如图16所示。第二张实验图片采用灰度矩阵法的检索结果如图17所示. 第三张实验图片采用灰度矩阵法的检索结果如图18所示。

分析上述实验结果，不难发现采用灰度矩阵法进行图像纹理特征的检索，对于纹理特征较为明显的图像具有更好的匹配效果。

第五章 基于形状特征的图像检索技术

形状是描述图像内容的本质特征, 在实际检索中, 很多查询可能并不针对图像的颜色, 因为同一物体可能有各种不同的颜色, 但其形状总是相似的。如检索某辆汽车的图像，汽车可以是红的、绿的等, 但形状决不会像飞机的外形[13]。另外, 对于图形来说, 形状是它唯一重要的特征。目前用于图像检索的形状描述方法主要有两类:基于边缘和基于区域的形状方法。基于边缘的形状特征提取是利用图像的边缘信息，在边缘检测的基础上，用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较清晰、容易获取的图像。

5.1 形状不变矩法

Hu利用二阶和三阶归一化中心矩构造了7个不变矩,不变矩是一处高度浓缩的图像特征，在连续图像下具有平移、灰度、尺度、旋转不变性。
7个不变矩构成一组特征量，实际上，在对图片中物体的识别过程中，只有M1和M2不变性保持的比较好，其他的几个不变矩带来的误差比较大，有学者认为只有基于二阶矩的不变矩对二维物体的描述才是真正的具有旋转、缩放和平移不变性(M1和M2刚好都是由二阶矩组成的）。由Hu矩组成的特征量对图片进行识别，优点就是速度很快，缺点是识别率比较低。Hu不变矩一般用来识别图像中大的物体，对于物体的形状描述得比较好，图像的纹理特征不能太复杂，像识别水果的形状，或者对于车牌中的简单字符的识别效果会相对好一些。

5.2 实验结果与分析

第一张实验图片采用形状不变矩法的检索结果如图19所示。第二张实验图片采用形状不变矩法的检索结果如图20所示. 第三张实验图片采用形状不变矩法的检索结果如图21所示。

通过上述实验可以看出，基于形状不变矩的图像形状检索，仅仅对第一张图片——太极图，给出了较好的结果而对于第二，三张图片检索结果均不理想，分析可以设想其是因为图片形状特征不明显所致。

第六章 基于三种特征信息综合的图像检索

6.1 三种特征信息综合方法

在上述简单提取图像的一种特征进行检索的基础上，不难想到将三种特征结合起来以待得到更优结果。基本思路是：将已经提取到的三种特征向量分别合并为一个特征向量，为每张图像获取一个维数更高，特征值更多的特征向量。

6.2 实验结果与分析

第一张实验图片采用三种特征信息综合法的检索结果如图22所示。第二张实验图片采用三种特征信息综合法的检索结果如图23所示。第三张实验图片采用三种特征信息综合法的检索结果如图24所示。

分析上述实验结果，并且将其与三种特征独立使用时的实验结果进行对比，发现采用三种特征信息综合法这种简单的优化方式就可以得到比单独使用任何一种方法单独使用时更加精确的结果。

第七章 基于主成分分析法的图像检索

7.1 主成分分析法

主成分分析方法的出发点简单来说就是把图像看做无数个连续像素点的载体。例如一个图像是一个由LL像素点组成的方形(MR 图像),那么其向量的大小是L的平方。典型的图像尺寸一般为256256,所以其向量的长度(维)为65, 536。但是在一个非常高的维度内，图像采集的方法就会改变,十万维空间中的图像进行比较的任务是艰巨的。所以说我们需要找到一个更合适的图像矢量表示，在准确表示图像本征维的同时，确保它的维度不会太高。
将图像的像素点信息看做一个有特征向量组成的特征空间。然后根据欧氏距离算法，把图像间的相似度，也近似看做这个向量间的距离。再对这些距离结果设定一些区间，按照区间的数值来给图像分类。
本文首先将图像缩放到64*64的矩阵，然后对每一维进行主成分分析得到一个主成分值，共计64个使其构成图像的特征向量。

7.2 实验结果与分析

第一张实验图片采用主成分分析法的检索结果如图25所示。第二张实验图片采用主成分分析法的检索结果如图26所示。第三张实验图片采用三主成分分析法的检索结果如图27所示。

分析上述实验结果可知，本文的主成分分析法的检索结果，虽然有一定的合理性，但是结果却差强人意。究其原因可能是因为，算法对于每张图像保留的主成分不具有很强的代表性，导致结果较差。

第八章基于迁移学习的图像检索

8.1 迁移学习

稀疏结构是非常适合神经网络的结构，尤其是对大而深的神经网络，不仅可以减轻过拟合同时也可以降低计算量。但是随着网络层次的加深，模型抽取出的特征也会更加抽象，使得模型最后忽略了数据中的细节信息。并增加计算机的运行成本，即耗时过长。因此，CVPR2017年的Best Paper中出现了DenseNet来缓解网络层数加深和变宽之后带来的一系列问题。DenseNet网络脱离了原有的加深变宽思想，从特征角度去考虑。通过特征的重复使用和旁路设置(Bypass)设置,该网络既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生。结合信息流和特征复用的假设。
随着越来越多的机器学习应用场景的出现，而现有表现比较好的监督学习需要大量的标注数据，标注数据是一项枯燥无味且花费巨大的任务，所以迁移学习受到越来越多的关注。
传统机器学习(主要指监督学习)：基于同分布假设；需要大量标注数据；然而实际使用过程中不同数据集可能存在一些问题。比如，数据分布差异；标注数据过期；训练数据过期，也就是好不容易标定的数据要被丢弃，有些应用中数据是分布随着时间推移会有变化。如何充分利用之前标注好的数据（废物利用），同时又保证在新的任务上的模型精度？基于这样的问题，所以就有了对于迁移学习的研究。
迁移学习是：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。主要思想是：从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果[14]。
在本项目中主要是将DenseNet201的网络结构及训练参数在稍作改编的情况下，直接对数据集进行学习。

8.2 实验结果与分析

DenseNet201网络训练过程，如图28所示；最终训练网络的loss曲线与accuracy曲线，如图29所示。

第一张实验图片采用迁移学习法的检索结果如图30所示。第二张实验图片采用迁移学习法的检索结果如图31所示。第三张实验图片采用迁移学习法的检索结果如图32所示。

根据上述实验结果分析可知，迁移学习对于基于内容的图像检索具有最好的效果。

第九章 总结与展望

9.1 总结

本次综合实训，完成了基于内容的图像检索系统，共计实现了七种基于内容的图像检索方法，其中基于深度学习的迁移学习法可以得到最好的检索效果，三种特征信息综合的方法次之。本文实现的方法分别是：基于颜色信息的图像检索，包括：HSI中心矩法和HSV中心矩法；基于纹理特征的图像检索，采用灰度共生矩阵实现；基于形状特征的图像检索，采用形状不变矩法；基于综合信息的图像检索，包括将三种特征信息综合的方法，主成分分析法，基于深度学习的迁移学习法。
根据实验结果来看，基于深度学习的迁移学习法在基于内容的图像检索方面有独特的优势，它的准确率往往优于传统方法，这是它的明显优势，但是该方法的弊端在于必须提前获取大量数据集对网络进行训练，使用较长的预处理时间，才可以得到效果较好的网络，因此它很难实现实时加载新的数据集对其进行检索。而三种特征信息综合的方法，虽然它的准确率很难与迁移学习方法比肩，但是它对于较小的数据集可以实现动态的图像数据集加载，完成检索工作。综上所述，当检索需求要求较高准确率，检索数据集较大，且无需实现动态的图像数据集加载，那么采用迁移学习的方法是比较好的选择；当检索需求要求准确率不高，检索数据集较小，但是需要实现动态的图像数据集加载，那么采用三种特征信息综合的方法是更优的选择。

9.2 创新点

本文在实现基本的颜色、纹理，形状三种特征提取的方法上，还进行了一些拓展：
(1) 三种特征信息综合。最朴素，最自然的想法是将三种特征向量按照权重相同的方式融合，得到更好的检索效果。实验结果表明，这种简单的结合便可以得到更好的效果。
(2) 基于主成分分析。图像检索中的特征提取，在更高的抽象意义来说就是在低维找到可以准确表征高维空间事物的本征维。而主成分分析法正好可以完成这个任务。因此，本文还采用了主成分分析对图像进行特征提取与检索。
(3) 基于深度学习的迁移学习法。深度学习方法对处理图像数据的抽象内容信息有着较大优势。因此，本文采用迁移学习法对图像内容进行检索。实验结果表明，迁移学习具有最好的效果。
(4) 系统设计。支持菜单按钮与树形目录选择并实时渲染目标图像；支持多达50张相似图片滚动展示；支持帮助门户网站功能，用户可以进入网站查看系统介绍，系统使用方法，下载源文件以及数据集和联系网页。

9.3 展望

本文认为主成分分析也是很有前景的方法，它将迁移学习的高准确率与三种特征信息综合的高效进行了折中，既有望实现较高的准确率，又可以实现图像数据集的动态加载

致 谢

光阴似箭，岁月如梭。转眼间，大三最后一门课程的就要接近尾声了，回顾我的大学三年以及自己实训过程中的点点滴滴，可以说是短暂又漫长，有苦也有甜，但此时此刻沉淀在自己心中的更多的是感激。感谢各位老师对我综合实训的指导，老师在课堂上不仅传授专业知识，更为我们指明前进的方向。

参考文献

[1] 祝晓斌,刘亚奇,蔡强,曹健.基于内容的图像检索技术研究[J].计算机仿真,2015,32(05):1-4+85.
[2] Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” International Conference on Machine Learning ACM, 2008:1096-1103.
[3] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.
[4] 陈乾明. 基于内容的图像检索系统的设计与实现[D].南京大学,2018.
[5] 王海荣. 基于内容的图像检索技术研究及应用瞻望[D].西北大学,2009.
[6] 白雪. 聚类分析中的相似性度量及其应用研究[D].北京交通大学,2012.
[7] 郝贵青,王冰洋.一种基于RGB颜色空间的色彩还原方法[J].国外电子测量技术,2016,35(11):24-26+41.
[8] 邵帅,郭永飞,刘辉,袁航飞,张择书.HSI色彩空间下的低照度遥感图像增强[J].光学精密工程,2018,26(08):2092-2099.
[9] 马玲,张晓辉.HSV颜色空间的饱和度与明度关系模型[J].计算机辅助设计与图形学学报,2014,26(08):1272-1278.
[10] 韩丁,武佩,张强,韩国栋,通霏.基于颜色矩的典型草原牧草特征提取与图像识别[J].农业工程学报,2016,32(23):168-175.
[11] 陶华伟,赵力,奚吉,虞玲,王彤.基于颜色及纹理特征的果蔬种类识别方法[J].农业工程学报,2014,30(16):305-311.
[12] 王昊鹏,李慧.基于局部二值模式和灰度共生矩阵的籽棉杂质分类识别[J].农业工程学报,2015,31(03):236-241.
[13] 李平,魏仲慧,何昕,何丁龙,何家维,梁国龙,凌剑勇.采用多形状特征融合的多视点目标识别[J].光学精密工程,2014,22(12):3368-3376.
[14] 庄福振,罗平,何清,史忠植.迁移学习研究进展[J].软件学报,2015,26(01):26-39.

基于内容的图像检索系统设计与实现相关推荐

1. 基于内容的图像检索系统设计与实现--颜色信息--纹理信息--形状信息--PHASH--SHFT特征点的综合检测项目，包含简易版与完整版的源码及数据！

   百度云提取源码以及数据包,直接下载压缩包解压就可以使用,数据就在压缩包文件dataset中. 简化版:只有-颜色信息–纹理信息–形状信息–PHASH–SHFT特征点的综合检测 [百度云链接,提取码:6 ...

2. JAVA实现的基于内容的图像检索系统设计与实现

   1 图像检索系统工作流程 基于内容的图像检索技术是对输入的图像进行分析并分类统一建模,提取其颜色.形状.纹理.轮廓和空间位置等特征,建立特征索引, 存储于特征数据库中.检索时,用户提交查询的源图像,通 ...

3. 基于内容的图像检索系统的设计与实现

   基于内容的图像检索系统的设计与实现 摘 要:图像作为最基本.最重要的多媒体信息形式之一,已经随着信息技术和网络技术的发展,而越来越广泛地应用于许多领域.如何提供一个快速的.有效的图像信息检索系统已成为 ...

4. vc++实现基于内容的图像检索系统（一）

   vc++实现基于内容的图像检索系统(一) 系统设计 下载数据集 检索用的图像数据,下载网址: http://cecas.clemson.edu/~stb/research/headtracker/se ...

5. 基于内容的图像检索概述

   摘要:我们现在处于信息爆炸的时代,各种海量信息充斥在我们周围,如何能在海量的数据中搜索到我们想要的图像是个很有挑战性的研究课题.本文简要分析了目前基于内容的图像检索(CBIR)的几种主要方法,如颜色, ...

6. 基于内容的图像检索系统（合集）

   基于内容的图像检索,即CBIR(Content-based image retrieval),是计算机视觉领域中关注大规模数字图像内容检索的研究分支.典型的CBIR系统,允许用户输入一张图片,以查找具 ...

7. 图像特征计算与表示——基于内容的图像检索

   1️⃣作业需求 给定不少于100幅合适的图像集合,尺寸可不一,任意选一张图像,并人工给定图像中的一个目标区域,如人脸.楼房.狗等,要求设计一个基于内容的图像检索方法,它能在剩余的图像中找出5张包含最类 ...

8. 基于内容的图像检索引擎（以图搜图）

   基于内容的图像检索引擎(以图搜图) 本文介绍一些基于内容的图像检索技术(Content-Based Image Retrieval,CBIR)的搜索引擎(即以图搜图),这类搜索引擎基本上代表了图像检索 ...

9. 基于内容的图像检索技术

   转:https://blog.csdn.net/u013087984/article/details/52038980 图像检索:基于内容的图像检索技术 2016年06月05日  图像检索  图像检索 ...

10. 多方法的基于内容的图像检索系统（CBIR）搭建--基于python

    多方法基于内容的图像检索系统(CBIR)搭建 代码实现地址 系统简介 随着数字图像的数量的急速增长,如何快速.高效地从海量图像数据库中检索出客户所需要的数据和信息是当前图像应用领域的重要问题.伴随着数 ...

最新文章

1. R语言聚类分析之层次聚类（hierarchical clustering）实战
2. tf.train.Saver函数的用法之保存全部变量和模型
3. Apache软件基金会宣布Apache Unom成为顶级项目
4. 毕业以来,今天第一次领到工资,好兴奋哪
5. Nhibernate中的连接超时时事务回滚引发异常的处理方法
6. 【Level 08】U06 Good Feeling L6 A 3D experience
7. 【Java】Java反射调用可变参数的方法
8. 方舟手游服务器设置文件翻译,方舟手游咋设置翻译
9. android 外接键盘 五笔 百度输入法
10. u890安装显示iis服务器,XP纯净版系统下安装用友U8提示iis不符合怎么办
11. 智能名片小程序开发文档概要
12. db2 cmd命令操作
13. stm32f103——基本定时器与定时器中断
14. 计算机防火墙知识点,防火墙及防火墙的基本概念-信息安全工程师知识点
15. Affinity Derivation and Graph Merge for Instance Segmentation阅读笔记
16. 10个iPad Air常见小问题及解决方法汇总
17. C语言中int与char的类型转换
18. PDF文档一键自动生成目录和书签
19. 我叫mt4 服务器维护,我叫MT48月22日停机维护公告 我叫MT4最新维护内容一览-游侠手游...
20. 阿里oss上传，读取报错：Connection pool shut down

热门文章

1. extmail mysql数据库 重启_一个简单的基于postfix+extmail+mysql的邮件系统
2. 小米蓝牙耳机持续白灯_小米蓝牙耳机不能自动串联问题
3. 【工程师学算法】工程常用算法（二）—— 卡尔曼滤波(Kalman Filter)
4. mui 框架图片预览
5. Java 生成 验证码图片
6. 3亿流量还能让Keep错几次？
7. 机器学习之K均值聚类算法K-Means（python代码实现）
8. 用excel制作，出入库信息管理表，动态库存表
9. 【Dam Dadi Doo】MMD镜头+动作打包下载.zip
10. 什么是Word2Vec？如何有效的表征文本的？