摘要

论文提出基于模糊 C 均值（Fuzzy C-Means，FCM）聚类算法的跨模态人物图像标注方法，使用相关的人脸特征及文本语义，结合具有问题针对性的算法，建立有效的跨模态人物图像标注机制，进而对人物类图像进行标注。

论文的贡献在于将人脸-人名匹配作为一种双模态媒体语义映射的问题进行处理，在双模态媒体（人脸图像与人名）的语义表达之间建立相应的关联分布，通过评估这种双模态媒体语义表达之间的相似关联性，进而针对人物图像标注最终衡量人脸与人名之间各种匹配方式的相对好坏。

技术

人脸检测与特征表示（与2012年吴伟硕士论文《跨模态间的人脸与人名对齐方法研究》方法一样）

人脸检测

在人物图像中找到人脸所在的位置，检测出里面出现的人脸；
针对人脸检测，首先把人物图像转为灰度图，再进行直方图均衡化去除光照影响后，然后采用 Viola-Jones 检测器来进行人脸检测，最后把检测出的人脸图像统一尺寸以灰度图形式进行保存

人脸特征表示

将人脸图像转化为特征向量。
。针对人脸特征表示，通过利用差分高斯滤波器弥补低频率的光照变化和抑制噪声，以此来对提取出的人脸进行归一化预处理。采用脸部特征点定位方法定位出人脸的 9 个脸部特征点（每只眼睛的左右角、嘴巴的左右角、鼻子的左右鼻孔以及鼻尖），并额外增添 4 个脸部特征点（两只眼睛的各自中心、嘴巴的中心、两只眼睛之间的中点）来更大程度上覆盖整个人脸区间。最后，从归一化处理后的人脸中分别为这 13 个脸部特征点在同一尺度中计算 Sift 算子，最终将每张人脸表示为 13*128=1,664 维的特征向量，并利用两张人脸对应的 13 个特征点的 Sift 算子间的平均欧式距离作为此两张人脸在该特征空间下的距离度量方式，进而实现有效的人脸相似性度量。

人名检测与聚类

人名检测

在相关联文本中找到人名信息。
针对人名检测，需要在每段相关联文本中检测里面出现的人名。考虑到文本中人名出现的特点，即全称人名一定会至少出现一次，而且有一些人名机构包含并非想要的人名。因此，采用 Stanford NLP 包来进行人名检测，具有很高的正确人名检测率。

人名聚类

将同一人物的不同人名表达形式合并。
针对人名聚类，由于在同一段文本中，一个人名可能出现多次，如“Barack Obama”、“The president、Barack Obama”和“Obama”都属于同一个人，因而需要把一段文本中指向同一个人的名词实体进行聚类。为此，采用两种方法共同来进行人名聚类，首先利用 Ling PipePackage 来获得部分名词之间的共指性来解决，然后考虑到对于 Stanford NLP 包进行人名检测时，有时会把单独出现人名的部分名称，比如“Obama”检测为机构或组织，所以在检测人名之后，再用检测为机构和组织的名词对检测为人名的名词进行字符匹配，如果完全匹配上，则是指向同一个人的部分人名，也加入到该人名类中，进而能对文本中的人名进行准确的检测与聚类。

基于FCM聚类的标注

FCM 聚类的问题可描述为：给定 F 个数据样本，将这些数据聚为 C 个类。而这里所介绍的算法是在经典的模糊 C 均值聚类算法上，相对于跨模态人物图像标注问题的特殊性进行优化后得到。针对人物的特别聚类问题可描述为：给定 F 个人脸特征向量，将这些数据分为 C 类，每一类代表一个新闻人物，且分配过程具有一些约束，限制人脸特征与人名出现在同一篇新闻中才进行聚类。

数据集

Labeled Yahoo! News Data
该数据集总共包括 20,071 条人物新闻数据，所有的这些新闻数据总共包括 31,147 张人脸图片，而这些人脸图像属于 10,397 个不同人。

实验和分析

Guillaumin等和 [14] Pham等在论文中提出的用于处理同样问题的方法，基于整体数据集分别获得 54.41%和 55.61%的跨模态人物图像标注准确率。相比较而言，本文所提出的方法取得了相对较好的标注性能，最高的标注准确率值达到70.62%，在一定程度上优于当前这两种方法。

参考文献

论文提到的两人的论文：
[13] Guillaumin, M., Mensink, T., Verbeek, J., and Schmid, C.2008. Automatic face naming with caption-based supervision[C]. Proc. of CVPR 2008: 1-8.
[14] Pham, P.T., Moens, M.F., and Tuytelaars, T. 2010. Cross-media alignment of names and faces[C]. IEEE Transactions on Multimedia, 12(1): 13-27.

其它人脸标注论文下载

论文笔记--基于 FCM 聚类的跨模态人物图像标注方法-2015相关推荐

CVPR论文 | 所见所想所找：基于生成模型的跨模态检索
[小叽导读]:视觉-文本跨模态检索已经成为计算机视觉和自然语言处理领域结合的一个热点.对于跨模态检索而言,如何学到合适的特征表达非常关键.本文提出了一种基于生成模型的跨模态检索方法,该方法可以学习跨模 ...
文献记录(part63)--跨模态社交图像聚类
学习笔记,仅供参考,有错必纠关键词 :跨模态学习:共轭词典学习: WordNet :图像聚类:社交图像:语义相似度度量文章目录跨模态社交图像聚类摘要引言相关工作(略) 跨模态特征学习优化 ...
基于RK3588+TensorFlow的人工智能跨模态行人重识别方法及应用
摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光.红外等不同模态图像中识别出同一个人,其在人机协同.万物互联.跨界融合.万物智能的智能系统与装备中有重要应用.提出一种数据增强的跨模态行人重 ...
计算机软件专业与甲骨文关系,基于本体的甲骨文专业文档语义标注方法-计算机应用与软件.PDF...
第30卷第10期计算机应用与软件 Vol30No．10 2013年10月 ComputerApplicationsandSoftware Oct．2013 基于本体的甲骨文专业文档语义标注方法吴 ...
论文浅尝 - IJCAI2020 | Mucko：基于事实的多层跨模态知识推理视觉问答
论文笔记整理:陈卓,浙江大学计算机科学与技术系,博士研究生. 论文链接:https://arxiv.org/pdf/2006.09073 代码:https://github.com/astro-zih ...
论文笔记 | 基于深度学习的乳腺转移瘤识别（Deep Learning for Identifying Metastatic Breast Cancer）
论文阅读笔记:原文链接摘要生物医学图像国际研讨会(International Symposium on Biomedical Imaging,ISBI)举办了一个在前哨淋巴节点全幻灯图中自动检测转 ...
论文笔记-基于代码属性图和Bi-GRU的软件脆弱性检测方法
一.摘要提出了一种基于代码属性图和Bi-GRU的软件脆弱性检测方法.该方法通过从函数的代码属性图中提取出抽象语法树序列.控制流图序列作为函数表征的表征方式,减少代码表征过程中的信息的损失,并通过选 ...
论文学习——基于循环神经网络的电信行业容量数据预测方法
文章目录 0 封面 1 标题 title 2 摘要 abstract 3 关键字 keywords 4 总结 conclusion 5 引言 introduction 6 介绍 LSTM 6.1 LS ...
wps 模拟分析规划求解_【论文】基于双层规划的应急物资邮政运输模型优化方法研究...
戳上面的蓝字关注我们哦! 基于双层规划的应急物资邮政运输模型优化方法研究周海霞1,2, 梅育荣1,2, 吕福如1,2, 孙知信1,2 1 南京邮电大学国家邮政局邮政行业技术研发中心(物联网技术),江 ...

论文笔记--基于 FCM 聚类的跨模态人物图像标注方法-2015

文章目录

摘要

技术