读《基于深度学习的以图搜图技术在照片档案管理中的应用研究_赵学敏》
论文名称：《基于深度学习的以图搜图技术在照片档案管理中的应用研究_赵学敏》
发表时间：2020年4月
发表期刊：档案学研究（北大核心、CSSCI）
发表单位：云南大学档案馆
愚见
- 是一个叙述性的论文，没有太大的技术含量。
- 介绍了一点以图搜图方向的知识点+系统部署流程，不多但还是写得不错。
有意思的词
“读图时代”、“有图无真相”
为了保证照片档案内容的明确性和准确性，照片必须编写文字说明，文字说明可以确保照片档案内容真实有效，是便于档案管理和检索利
用的必须著录字段，文字说明主要说明数码照片的“时间、地点、人物、事件、背景、摄影者”等六要素。
两类图像检索方式
1992年，KatoT提出了基于内容的图像检索（Content-Based Image Retrieval，CBIR）概念，提出提取图像的颜色、形状等特征构建数据库用于图像检索，也就是“以图搜图”。
- 通过深度学习模型对照片档案中的人物进行人脸识别，辨认出照片中的专家学者、重要领导和某个需特定搜索的人物，
- 通过场景识别自动辨认出照片中出现的建筑和会议场所等，
- 通过学生入学录取时的单张照片信息，自动识别出毕业合影等照片中每一个学生并自动著录其姓名。
Google于2001年首次推出了基于文本信息的图像搜索服务，它把网页中的图片名称、路径、Alt标签和图片周围的说明文字作为索引关键词，并于2011年推出了基于内容的图像搜索功能。
关键
以图搜图的关键在于找出图像中的相似内容，指定一张图像，需要对其内容进行识别，提取图像的关键特征值与待检索图像库中的所有图像的特征值库对比，找出特征值相似的图像，返回与待检索图像内容相关的图像。
过程
为提供检索准确率和效率，需要对每一张档案照片和待检索匹配图片进行图像特征提取，本文使用VGGNet深度学习模型来对档案照片和待检索匹配图片进行特征提取，为每一幅图像提取到特征值组合转换为特征向量，代表每一副图像的内容特征，把所有特征向量构建图像特征索引库如图1所示。（特征提取时，都将待处理图像的尺寸大小先缩放到224×224）
再进行以图搜图检索时，使用局部敏感哈希算法（Locality Sensitive Hashing，LSH）把待检索匹配图片的特征值和图像索引库中的特征值进行一一对比，相似度越大表示两幅图像越相似，再把相似度较高的档案照片作为以图搜图的检索结果。
关键技术
- 深度学习框架：Keras
- 图像特征提取：VGGNet
- 构造图像特征索引库
- 检索算法：局部敏感哈希算法 LSH
- 部署 Apache Tomcat 作为以图搜图Web搜索应用
计算机可以提取统计图像中各种颜色分布的颜色直方图、颜色分布矩阵、颜色聚合向量、纹理特征、轮廓区域形状特征等全局特征综合运用来提高图像检索和匹配的精确度。
常见的关键点局部特征
SIFT David Lowe提出一种用于从图像中提取关键点的尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）的方法，关键点的SIFT特征是图像的稳定局部特征，不受图像尺寸放大缩小和角度旋转变化限制，在计算机图像分类和识别领域得到了广泛的应用。
HOG Navneet Dalal提出通过计算和统计目标图像局部区域的外观和形状的特征梯度方向直方图（Histogram of Oriented Gradient，HOG）来构成图像特征，在计算机视觉和图像处理中用来进行人体检测和识别。
图像特征索引数据库
使用了Keras提供的图像数据增强工具Image Data Generator对每一张图片进行了缩放和裁剪，让每一张图片变成多张224×224尺寸大小的图片，再使用Keras通过加载预训练的VGG16模型，提取每幅图像在全连接层上的特征信息，每幅图像的特征信息经过提取后表征为一个向量，对每一张图片对应多幅图片的图像特征聚合组成一个向量集，这些向量集的集合就生成了档案照片图像特征索引数据库。
读《基于深度学习的以图搜图技术在照片档案管理中的应用研究_赵学敏》相关推荐
- 读《Android 安全架构深究》
Android 安全架构深究 安全是一个非常立体而丰富得概念.在不同的场景下,安全有着不同的含义. 比如对于网络传输,安全指的是传输的数据不会被其他人看到.篡改.伪造及仿冒,传输的数据不会遭到破坏,数 ...
- 《最强Android书 架构大剖析》读书笔记
文章目录 第一章 Android 体系结构的变革之路 1.2 Android系统源码目录 与Linux的异同 Android的框架 原生二进制可执行文件 Android 的原生库 核心(core)库 ...
- Android Jetpack架构组件之 Room（使用、源码篇）
2019独角兽企业重金招聘Python工程师标准>>> 1.前言 最近简单看了下google推出的框架Jetpack,感觉此框架的内容可以对平时的开发有很大的帮助,也可以解决很多开发 ...
- 抖音、美团等大厂千万级用户的Android客户端架构演进之路—
在移动开发中,对开发者来说不同的人具有不同的能力.就像读一本书一样,一千个读者,有一千个哈姆雷特.但不管怎样,只要你是个软件开发者你就必须学习windows或Linux等操作系统的运行原理.Andro ...
- Android 图形架构之一 ——概述
前言 本系列的文章,可以让你明白,一个View最终是如何显示到屏幕上的,从应用层到硬件抽象层.对分析app的卡顿,掉帧等 有很大帮助. 由于图形架构的涉及到的代码量很大,所以本篇先来个总体的概述,有个 ...
- Android display架构分析-SW架构分析(1-8)
参考: Android display架构分析二-SW架构分析 Android display架构分析三-Kernel Space Display架构介绍 Android display架构分析四-m ...
- 高通Android display架构分析
目录(?)[-] Kernel Space Display架构介绍 函数和数据结构介绍 函数和数据结构介绍 函数和数据结构介绍 数据流分析 初始化过程分析 User Space display接口 K ...
- [Android] Android MVP 架构下 最简单的 代码实现
Android MVP 架构下 最简单的 代码实现 首先看图: 上图是MVP,下图是MVC MVP和MVC的区别,在于以前的View层不仅要和model层交互,还要和controller层交互.而 ...
- Android系统架构-[Android取经之路]
摘要:本节主要来讲解Android的系统架构 阅读本文大约需要花费10分钟. 文章首发微信公众号:IngresGe 专注于Android系统级源码分析,Android的平台设计,欢迎关注我,谢谢! 欢 ...
- Android系统架构图及简单的系统架构介绍
2019独角兽企业重金招聘Python工程师标准>>> ndroid的系统架构和其操作系统一样,采用了分层的架构.从架构图看,android分为四个层,从高层到低层分别是应用程序层. ...
最新文章
- 鲲鹏高校行太原站来袭，两大课程一站式掌握未来潮流
- jupyter notebook 报错：TypeError: __init__() got an unexpected keyword argument ‘categorical_features‘
- asp.net三层架构应用详解【收录】
- boost::ratio_divide相关的测试程序
- linux查看tar进程进度,Linux：wget后台下载/查看后台任务进度
- 题库明细 使用C#开发数据库应用系统
- new java.util.date_java.util.Date的替代品
- 使用cacti监控CISCO交换机
- EasyRecovery注册码哪里有？
- Apache ShenYu(原 soul) 网关 整合 nacos
- HZNU-1480-The Gougu Theorem【勾股数】
- Android resource compilation failed 一定能搞定的办法
- 基于PPGiPPG的心率检测原理
- python 模拟鼠标，键盘点击
- 时间在断断续续的故事上搁浅
- 【文档】Word如何将一个文档的样式复制到另一个文档中
- 五面阿里拿下飞猪事业部offer，统统给你解决！
- 机器学习之变分推断(三)基于平均场假设变分推断与广义EM
- 使用sh执行bash脚本的奇怪问题
- 关于电脑DNS（域名系统）访问不了网页的解决方法