论文信息：
硕士论文-跨模态间的人脸与人名对齐方法研究-2012-复旦大学-吴伟
文末附人脸标注论文下载地址

文章目录

摘要
技术
- 框架图
- 人名重要性评估
- - 人名检测
  - 句法分析获得人名重要性&语义细化
- 人脸检测&人脸特征表示
- 人脸内聚度度量
- 自制网络爬虫
- 自适应模拟退火遗传算法
数据集
- 介绍
实验结果
- 四组评估模式
- 结果（整体数据集）
- 将改进的自适应模拟退火遗传算法（ＩＳＳＡＧＡ）与标准遗传算法（ＧＡ）对比实验结果
结论--page-53
参考文献
- 图像(跨媒体)检索
- 人脸标注
资源

摘要

本文提出了一种有效的自动人脸一人名对齐框架，能够更有效和更精确的支持跨媒体新闻检索。
本文将人名重要性评估（ＮＳＲ）、人脸～人名内聚度度量（ＮＦＣＭ）、基于Ｗｅｂ的多模态信息挖掘以及改进的自适应的模拟退火遗传算法进行结合，共同构造成一种新颖的人脸一人名对齐框架，该框架能够有效的挖掘人脸和人名之间的内在关联性，进而提高跨媒体检索的性能。

技术

框架图

人名重要性评估

人名检测

使用工具：stanfordNLP

句法分析获得人名重要性&语义细化

人脸检测&人脸特征表示

人脸内聚度度量

k近邻，相似度

自制网络爬虫

自适应模拟退火遗传算法

数据集

介绍

本文所使用的数据集是基于Berg等人构造的Labeled Yahoo！News Data，并且通过Guillaumin等人再次完善的大规模新闻数据集，这些新闻数据都是来源于雅虎新闻，每条新闻数据包含一张新闻图片以及相应的文本标注。
该数据集总共包括２００７１条图片一文本新闻数据，所有的这些新闻数据总共包括３１１４７张人脸图片，而这些人脸图片属于５８７３个不同人。
Guillaumin等人对该数据集进行了完全标注，。过滤后的数据集则总共包含１９３８９条图片一文本新闻数据，这些新闻数据总共包含２８９７７张人脸图片和３６１０６个人名。

实验结果

四组评估模式

（１）Ｂａｓｅｌｉｎｅ（ＮｏＴｏｐ＋ＮＦＣＭ）：对数据集进行基本的预处理过程，同时不对文本中的人名进行过滤筛选过程，也不对人脸进行内聚度评估方式下的人脸一人名对齐性能。

（２）Ｂａｓｅｔｉｎｅ（ＮＦＣＭ）＋ＮＳＲ（ＴＯＰ
Ｎ）：对数据集进行基本的预处理过程，在（１）中的Ｂａｓｅｌｉｎｅ模式下，新增人名重要性评估算法模块，并且配上人名过滤筛选ＴＯＰＮ操作。
（３）Ｂａｓｅｌｉｎｅ（ＮＦＣＭ）＋ＮＳＲ（ＴＯＰ烈＋１））：对于数据集进行基本的预处理过程，在Ｂａｓｅｌｉｎｅ模式下，新增人名重要性评估算法模块，并且配上人名过滤筛选ＴＯＰ烈＋１）操作。
（４）Ｂａｓｅｌｉｎｅ（ＮＦＣＭ）＋ＮＳＲ（ＴＯＰＮ）＋ＷＭＩＭ：对于数据集进行基本的预处理过程，在Ｂａｓｅｌｉｎｅ模式下，新增人名重要性评估算法模块，并且配上人名过滤筛选ＴＯＰＮ操作，同时在人脸一人名对齐过程之前，新增基于Ｗｅｂ挖掘的多模态信息补充（ＷＭＩＭ）这一模块操作。

结果（整体数据集）

将改进的自适应模拟退火遗传算法（ＩＳＳＡＧＡ）与标准遗传算法（ＧＡ）对比实验结果

结论–page-53

本文同时文本和图像两种媒体介质，在当前已有的相关文本和图像处理技术基础之上，新增并完善了相关方法的实施，提出了一种较为新颖的整体框架用来对大规模的数据集进行自动的人脸一人名对齐过程，进而以达到大大提高新闻数据检索相关性的目的。
本文对当前公开的大规模数据集，进行了详细并多样化的数据实验。

本文对本为提出的人脸一人名对齐方法框架中的各个环节：人名重要性评估、基于Ｗｅｂ的多模态信息发现、人脸集内聚度度量、改进的自适应模拟退火遗传算法，分别进行了充分的实验验证，也各自都得到了不错的实验结果。

参考文献

图像(跨媒体)检索

[1] R.Datta,D.Joshi,J.Li,and J.Z.Wang,“Image Retrieval:Ideas,Influences,and Age”,ACM Computing Surveys(csuR),v01.40,no.2,Article Trends ofthe New 5,2008.
[4]R.Yang and A.G.Hauptmanan,“A Review of Text Broadcast News and Image Retrieval Video”, Information Retrieval,v01.1 0,pp.Approaches for 445—484.2007.
[5]Y.T.Zhuang,Y Yang,and F.Wu,“Mining Semantic Correlation of Heterogeneous Multimedia Data for Cross—media Retrieval”,IEEE Transaction on Multimedia, v01.10,No.2,PP.221—229,2008.
[6]Y Yang,D.Xu,F.R Nie,J.B.LuG,and Alignment Y.T.Zhuang, for Cross Media with Local Retrieval”,Proc.MM 2009,PP. “Ranking Regression and Global 175—1 84,2009.

人脸标注

[8]RT.Pham,M.F.Moens,and T.Tuytelaars,“Cross—media Alignment of Names and Faces”,IEEE Transactions on Multimedia,v01.12,no.1,pp.13—27,2010.
[9]M.Guillaumin,T.Mensink,I.Verbeek,and C.Schmid,“Face Recognition from Caption-based Supervision” International Journal of Computer Vision, v01.96,no.1 PP.64—82,2012.
[10]B.Bozorgtabar and G.A.Rezai Rad.“A Genetic Programming—PCA Hybrid Face Recognition Algorithm”,Journal 2,PP.170—174,2011.
[12]D.D.Le and S.Satoh,“Unsupervised Face Annotation by Mining the Web”,Proc.ICDM2008,PP.383—392,2008.
[15]T.L.Berg,A.C.Berg,J.Edwards,M.Maire,R.White,Y W.The,E. Learned—Miller,and D.Forsyth,“Names and Faces in the News”,Proc.CVPR 2004,v01.2,PP.848—854,2004.
[23] Y.Su, S.Shan,X.Chert,and W.Gao,“Hierarchical and Local for Face Classifiers Recognition” IEEE Ensemble of Transaction on Global Image Processing,v01.18,no.8,PP.1885—1896,2009
[31]T.L.Berg,A.C.Berg,J.Edwards,and M.Maire,“Names and Faces”, Technical Report,U.C.at Berkeley,2007.
[33]M.Ouillaumin,T.Mensink,J.Verbeek,and C.Schmid,“Automatic Face Naming with Caption-based Supervision”,Proc.CVPR 2008,PP.1-8,2008.

资源

人脸标注论文

论文笔记--跨模态间的人脸与人名对齐方法研究-2012相关推荐

论文笔记--跨模态检索研究综述-2018
论文信息: 期刊论文-跨媒体检索研究综述-2018-欧卫华文末部分参考文献附有论文下载链接,并提供了本论文下载地址转载本文请添加以下引用: 作者:lingpy 本文链接:https://blog. ...
跨交换机间单臂路由的实现方法
跨交换机间单臂路由的实现方法 2007-06-11 17:13:37 标签:vlan 单臂路由跨交换机 [推送到博客圈] 版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 . ...
论文浅尝 | 基于知识图谱嵌入的 Bootstrapping 实体对齐方法
来源: IJCAI 2018 链接: https://www.ijcai.org/proceedings/2018/0611.pdf 本文关注基于知识图谱嵌入(后文全部简称为知识嵌入)的实体对齐工作, ...
论文研读-文献聚类可视化-文献聚类结果可视分析方法研究
文献聚类结果可视分析方法研究 1 论文概述 1.1 摘要 1.2 引言 1.3 脉络 2 可视分析框架 2.1 框架概述 2.2 框架组成 3 可视化设计 3.1 语料结构可视化 3.2 语料内容可视 ...
【项目调研+论文阅读】基于医学文献的实体抽取(NER)方法研究 day5
一.<基于文献的药物表型实体识别及关系抽取方法研究>北京交通大学-张琛表型实体:疾病.体症.基因.化学物质和药物名称. 信息提取的传统方法分为三步:命名实体识别.关系抽取.事件抽取. - ...
论文笔记：基于并行注意力 UNet的裂缝检测方法
0 简介论文:基于并行注意力 UNet的裂缝检测方法(Parallel Attention Based UNet for Crack Detection): 发表:2021年发表在<计算机研究 ...
论文阅读——基于文档主题结构的关键词抽取方法研究（理解）
1.引言 1.1关键词自动标注的主要方式与算法关键词自动标注主要有两种方式:关键词抽取与关键词分配. 关键词抽取,是从文档内容中寻找并推荐关键词关键词分配,是从一个预先构造好的受控词表(contr ...
论文笔记--基于 FCM 聚类的跨模态人物图像标注方法-2015
期刊论文-基于 FCM 聚类的跨模态人物图像标注方法-2015-微型电脑应用-赵昀,张翌翀文末附人脸标注相关论文下载地址文章目录摘要技术人脸检测与特征表示(与2012年吴伟硕士论文<跨 ...
CVPR论文 | 所见所想所找：基于生成模型的跨模态检索
[小叽导读]:视觉-文本跨模态检索已经成为计算机视觉和自然语言处理领域结合的一个热点.对于跨模态检索而言,如何学到合适的特征表达非常关键.本文提出了一种基于生成模型的跨模态检索方法,该方法可以学习跨模 ...

论文笔记--跨模态间的人脸与人名对齐方法研究-2012