深度学习能辨识壁画上的艺术元素吗?
图片来源网络
在古丝绸之路的敦煌,一座莫高窟,即拥有4.5万余平方米古代壁画,这些古代壁画是人类最为瑰丽的珍宝,也是列入《世界文化遗产名录》的文化遗产。壁画的艺术元素鉴别、创作时代鉴定、绘画风格规律分析、壁画修复等构成文化遗产研究与保护的重要工作。其中,对壁画中的艺术元素实例进行自动分类与识别是后续高层模式识别与艺术内容鉴定的关键技术。
今天图图带大家阅读《中国图象图形学报》2020年第1期封面论文《特征融合AlexNet模型的古代壁画分类》,成果来自太原科技大学计算机科学与技术学院曹建芳老师团队。
关注我们
一起努力
题目:特征融合AlexNet模型的古代壁画分类
作者:曹建芳, 崔红艳, 张琦
关键词:壁画分类;特征融合;AlexNet模型;卷积神经网络;壁画数据集
引用格式:曹建芳, 崔红艳, 张琦. 2020. 特征融合AlexNet模型的古代壁画分类. 中国图象图形学报, 25(1): 92-101
全文链接:
http://www.cjig.cn/html/jig/2020/1/20200108.htm
一、研究目的
壁画,是墙壁上的艺术,有石窟壁画、寺观壁画、墓室壁画等。中国古代壁画艺术,兴起于汉晋,盛于唐宋,延至明清,是历史最悠久的绘画形式之一。作为建筑物的附属部分,其装饰和美化功能使它成为环境艺术的一个重要方面。
壁画内容涉及广泛,包含宗教、政治、历史、经济、文化、医学和社会生活等广阔领域,从佛经、教义、神话传说、历史故事、生活场景到山水风光、翎毛花卉、图案装饰等几乎无所不包,内容丰富多彩。
随着计算机技术图像处理方向的不断发展和推广,古代壁画图像也向着数字化时代迈进,如何有效利用这些海量数字资源是一个亟待解决的问题,首要需求就是确定研究对象。
对壁画图像进行分类研究,方便研究者快速有效地从数字壁画库中搜索目标图像,以便对壁画图像进行有序管理和保护。传统特征的提取方法有一定的效果,但需要丰富的先验知识,同时提取到的特征会存在表达不充分和泛化能力不强的问题。
2012年AlexNet网络的问世,深度学习(Deep Learning)成为主流,已经有实验证明在大规模的图像分类上,深度学习技术已经远远胜过了传统的特征编码方法。尤其卷积神经网络深度学习能自主提取特征,从底层的视觉特征抽象到高层的语义特征。
图片来源网络
因此,论文将卷积神经网络用于壁画分类,借鉴经典卷积神经网络AlexNet网络结构,综合考虑壁画数据量和网络结构的影响因素,通过对比实验确定模型参数,提出一种既具有纵向延伸,又兼有横向扩展特点的卷积神经网络模型来实现壁画图像的自动分类。
二、研究方法
针对单层网络可能对图像的特征学习不够充分,结合宽度的影响因素,以经典AlexNet网络模型为基础,将网络拓宽到两个通道充分提取壁画特征,提出了一种结合特征融合思想的卷积神经网络模型用于古代壁画图像的自动分类。网络结构如图所示。
基于特征融合AlexNet的壁画图像分类模型
首先,提取壁画图像第一阶段的边缘等底层特征;
其次,采用结构不同的双通道网络对提取的第一阶段特征进行第二阶段的深层抽象,得到两个通道的特征;
最后,融合两个通道的特征,共同构建损失函数得到分类结果,从而提高模型的鲁棒性和特征表达能力。
壁画图像分类流程图
三、数据集
论文所有数据均来自《中国敦煌壁画全集》和《中国丝绸之路的墓室壁画》画册的扫描版,时间上从汉代沿革到清代,地域上跨越了东部、中部和西部,涵盖了不同朝代不同地区的壁画题材。
通过对收集的古代壁画艺术图像进行研究,将数据集的类别设定为佛像、菩萨、祥云、世俗人物、佛弟子、动物、植物和建筑等八类艺术形象。论文对采集到的数据使用缩放、亮度变换、加噪和翻转等数据集增强算法来进行扩展。
不同形象图像示例
不同朝代图像示例
不同地域图像示例
扩展数据集示例
四、实验结果
在所构造的壁画图像数据集上,论文模型最终达到了85.39%的准确率。
与未进行预训练的经典模型同时运行1万步的比较结果如下图所示。可看出论文网络结构不易产生过拟合现象,究其原因主要是其他网络都属于大型的深层次模型,训练参数大,耗时较大,同时对图片数量要求比较严格,当数据集较小时容易产生过拟合,提取的特征不能充分表达壁画特征。
与结合预训练的经典模型相比,准确率大致有1%-5%的提升,如下图所示。主要是由于论文模型并未在ImageNet这样的大数据集上进行预训练,而是直接从壁画图像自身开始训练模型,提取的特征更贴合壁画图像特征,说明自然图像与融合了人的主观设计思想的壁画图像在特征提取方面还是有一定的差距。
与一些改进的卷积神经网络模型相比,准确率均有大约5%的提高,如下图所示。说明论文模型设定的网络层数可以学习到更加丰富的特征,同时不同的卷积核的使用也丰富了网络的表达能力。
整体来看,论文方法从硬件条件、网络结构和内存消耗上来说代价更小。
五、结语
壁画是个百科全书,取之不尽。通过壁画可以看到很多画以外的东西,宗教、考古、民俗、体育、陶瓷、服装等各个专业的人都可以从中受到启发。“铭书非晋代,壁画是梁年”,壁画是我国艺术宝库中的瑰宝,它既有深邃的艺术价值,又具有现实的史学价值,还具有很高的开发利用价值。“石碑文不直,壁画色多枯”,对壁画的保护和分类管理方面的研究应多多重视。
六、作者简介
曹建芳,博士,教授,太原科技大学硕士生导师,忻州师范学院科研处副处长。
主要研究方向为数字图像理解、大数据技术等。所带领的古代壁画图像智能修复关键技术研究团队,主要致力于从事图像分析与模式识别、壁画图像数字化传承与保护、五台山文化等领域的研究工作。
E-mail:kcxdj122@126.com
崔红艳,硕士研究生,主要研究方向为机器学习与数字图像处理。
E-mail:1294865211@qq.com
张琦,硕士研究生,主要研究方向为数字图像理解。
E-mail:806660935@qq.com
编辑:秀 秀
指导:梧桐君
审校:夏薇薇
总编辑:肖 亮
END
备注:分类
图像分类&细粒度分类交流群
图像分类、细粒度分类等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到
深度学习能辨识壁画上的艺术元素吗?相关推荐
- 想知道深度学习卷积在GPU上如何优化吗?“大神”赵开勇带你深入浅出
想知道深度学习卷积在GPU上如何优化吗?"大神"赵开勇带你深入浅出 2016-08-19 11:54 转载 陈杨英杰 0条评论 雷锋网(搜索"雷锋网"公众号关注 ...
- 深度学习:在图像上找到手势_使用深度学习的人类情绪和手势检测器:第2部分
深度学习:在图像上找到手势 情感手势检测 (Emotion Gesture Detection) Hello everyone! Welcome back to the part-2 of human ...
- 深度学习:在图像上找到手势_使用深度学习的人类情绪和手势检测器:第1部分
深度学习:在图像上找到手势 情感手势检测 (Emotion Gesture Detection) Has anyone ever wondered looking at someone and tri ...
- 深度学习-图片识别(上)
深度学习-图片识别(上) 本文主要针对优达学城深度学习课程中的练习题,整理练习内容,有兴趣者可结合本文内容然后按练习题实践,帮助理解. 任务一:下载并整理数据 任务主要完成图片下载.图片内容数字化.选 ...
- 深度学习在推荐算法上的应用进展
作者:赵鑫,中国人民大学信息学院讲师,微博:赵鑫RUC. 原文:RUC智能情报站 | 深度学习在推荐算法上的应用进展 摘要:最近几年是深度学习发展的黄金时间,在多个领域取得了重要进展,包括图像领域.语 ...
- 深度学习在嵌入式设备上的应用
下面来探讨一下深度学习在嵌入式设备上的应用,具体如下: 1.深度学习的概念源于人工神经网络的研究,包含多个隐层的多层感知器(MLP) 是一种原始的深度学习结构.深度学习通过组合低层特征形成更加抽象的高 ...
- 深度学习在医学图像分割上的技巧、挑战、未来方向——论文研读
深度学习在医学图像分割上的技巧.挑战.未来方向 1 论文地址 2 源码地址 3 文章结构 4 基础设置(设置baseline不变) 4.1 数据集2D 4.1.1 2D ISIC 2018 4.1.2 ...
- 深度学习在心肺音上的研究
@深度学习在心肺音上研究 学习目标: 研究背景:临床听诊过程中,通过听诊器采集到的心音和肺音信号通常是带有背景噪声的两者的混合信号,在医生听诊心音信号过程中会受到肺音信号的干扰,而在对肺音信号进行诊断 ...
- 用PyTorch实现的李沐《动手学深度学习》,登上GitHub热榜,获得700+星
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 李沐老师的<动手学深度学习>是一本入门深度学习的优秀教材,也是各大在线书店的计算机类畅销书. 作为MXNet的作者之一,李沐老 ...
最新文章
- pd16.5生成mysql列说明_PowerDesigner16逆向工程生成PDM列注释(My Sql5.0模版)
- 全卷积神经网路【U-net项目实战】U-Net源码上实现自己数据集的分割任务
- zabbix告警时间和恢复时间相同的解决方法
- 据库专家Michael Stonebraker获得2014年图灵奖
- 成功解决for循环语句中,后几次循环输出数据一直全部为空
- jsp mysql 判断连接数据库失败 try_急……jsp 连接mysql不知道哪里出异常
- 均值滤波 中值滤波 高斯平滑滤波
- html%3c arial%3e,【博客园】样式美化+网站统计访问+添加网易云背景音乐
- 人生第一个过万 Star 的 GitHub 项目诞生
- tecplot脚本在Linux系统下运行,Linux系统下安装Tecplot的步骤
- Windows任务栏搜索功能修复
- 计算机的音乐怎么按出来怎么办,音频管理器一直跳出来怎么处理啊
- “此电话号码无法用于进行验证” 注册gmail邮箱手机号码不能验证的解决方法(已解决)
- 按摩新方法(辅助药物治疗肝,肾,肺等慢性疾病)
- html新浪短域名api,推荐几个最最新的新浪短网址官方api接口
- HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验
- 计算机组成原理 三种加法微操作命令
- 第二章:华为VRP(理论+实验命令)
- SQL数据库损坏及恢复分析
- 什么是NP问题,什么是NP hard问题,什么是NP完全问题。
热门文章
- Cppcheck 1 54 C/C++静态代码分析工具
- Hanoi 汉诺塔——通俗易懂地讲解(c++)
- 一个简单的PHP购物车系统
- 随机漫步(random walk)
- C—蓝彗星(差分问题)
- git - 基础 - 01 - git reset --hard 回滚以后,看不到之前的分支版本怎么解决:
- 依图芯片服务器,AI 芯片行业再添硬核新玩家:依图推出云端 AI 芯片 questcore™...
- 中富之命能有多少钱_做建筑师到底能赚多少钱?
- php fatal error 500,PHP在Linux下出现HTTP ERROR 500解决方法
- php生成红包数组,PHP 生成微信红包代码简单