论文笔记--网络新闻图像中人脸标注技术的研究-2011

论文信息：
硕士论文-网络新闻图像中人脸标注技术的研究-2011-哈尔滨工业大学-刘胜宇
文末附人脸标注相关论文下载地址

文章目录

摘要
技术
数据集
实验结果
结论
参考文献（部分）
- 关于图像标注
- 关于聚类
- 关于跨媒体
资源（对应技术中的标号）

摘要

针对网络新闻数据图文互补特性，提出基于改进AP聚类的人脸图像标注方法，以及标注后的一人多名问题的处理方法。相对于k-means与AP聚类算法，改进的AP聚类算法能够更加充分利用网络新闻数据图文互补的特性，得到更好的聚类结果，从而得到更准确的人脸标注。

本文最终得到一个带有人名标注的人脸图像数据库，同时支持基于内容与基于文本的人物检索。

技术

人脸检测算法：Adaboost[1]。（论文page-10）
人脸检测问题实际上就是一个两类分类问题，即对一个待判别的图像区域，分类器需要给出其是否是人脸区域
Viola 等人提出的基于Adaboost的人脸检测算法可以进行实时人脸检测，并且有较好的检测结果。此方法采用“积分图像”来表示人图像，利用积分图像表示方法表示的图像可以快速地提取特征。同时该方法将由简单特征得到的弱分类器进行融合得到强分类器，并将强分类器进行级联得到了层叠分类器。将分类速度比较快的分类器放在层叠分类器的前端，可以快速排除非人脸区域，大大减少了需要进行判别的图像数量，使人脸检测的响应速度得到提高。在 Viola 人脸检测方法中，AdaBoost算法将从巨大的特征集合中挑选出最有代表性的若干特征，每个被挑选出的特征对应一个弱分类器。最后将这些弱分类器进行融合得到强分类器。
人脸图像预处理。包括人脸图像灰度归一化和几何归一化。人脸图像预处理主要是为了消除图像尺寸、光照变化情况以及图像平面内的平移与旋转对人脸图像造成的影响。
- 灰度归一化。包括滤波去噪、图像增强（方法如直方图均衡化）、图像均值方差归一化等。
- 几何归一化。包括人眼定位。
人脸特征提取。
- 主成分分析（Principal component Analysis, PCA）[2]。
- 图像相似度度量。（如欧式距离（本文采用）、曼哈顿距离、明氏距离）
聚类算法
- 层次聚类[3]。
- 划分聚类。如k-means 聚类[4]。
- AP聚类[5]。Frey等人在2007年提出了AP(affinity propagation)聚类算法。AP聚类算法，又称为近邻传播聚类算法，该算法利用样本点的近邻信息找到样本集合中最优的类代表点集合，使所有样本点与其所属类别的类代表点的相似度最大。 AP 聚类算法与 k-means 聚类算法的聚类准则函数是一致的，但是聚类原理不同。 AP 算法将所有样本点都当作候选的类代表点，通过近邻信息的传播找到最优的类代表点集合，并且 AP 聚类算法的类代表点都是样本集中实际的数据点。在选择初始聚类中心时，k-means随机选择若干个样本点作为初始的聚类中心，导致聚类结果受初始聚类中心选择的影响很大，AP聚类算法则是将所有的样本点都看作候选的类代表点，聚类结果不受初始聚类中心选择的影响。
- 改进的AP聚类算法。page-36.

数据集

本文处理的数据是Tamara L.Berg个人主页上提供的实验数据集。该数据集来源于雅虎新闻网上将近两年的新闻数据，包含 28204条新闻。
本文通过人脸检测理，从每幅图像中可以得到若干幅标准化的人脸图像，且人脸图像被归一化到相同大小86×86。通过处理，从每条新闻中可以得到一个人脸集合与一个人名集合，最终得到 28204 个人脸图像集合与对应的 28204 个人名集合。分别包含 30281幅人脸图像与14108个人名

实验结果

对各聚类标注后，可能存在标注有不同人名的聚类实际上对应同一个人。可以通过计算聚类间相似度将对应着同一个人的不同聚类合并，进而识别出同一个人的不同人名。实验结果表明，对于聚类成员个数大于 10的310 个聚类进行合并，被正确合并的聚类可达 84%。

结论

本论文完成了如下几个方面的研究工作：

1、针对网络新闻中的人脸图像标注这样一个特别的图像标注问题，提出了解决此问题的方法框架。
2 、实现了基于 Adaboost 算法的人脸检测方法。由于检测得到的人脸图像来源于网络，图像比较复杂，针对复杂的人脸图像，对人脸图像进行了归一化处理，主要工作有滤波去噪、人脸图像增强、人眼定位及人脸校正等。
3、采用“特征脸”方法提取人脸特征，采用欧式距离作为人脸图像相似性的度量，通过基于聚类的图像标注算法对人脸图像进行标注。
本文将改进的 AP 聚类算法应用到人脸图像标注中，对大规模的人脸图像数据库进行标注，得到一个带有准确人名标注的人脸图像数据库，同时支持基于内容与基于文本的人物检索。在此数据库中就可以快速地进行人物检索。

参考文献（部分）

关于图像标注

[10] A. Makadia, V. Pavlovic, S. Kumar. A new baseline for image annotation[C].
Proceedings of the 10th European Conference on Computer Vision,2008:316329.
[11] J. Jeon, V. Lavrenko, R. Oka. Automatic Image Annotation and Retrieval Using Cross-media Relevance Models[C]. Proc. of SIGIR, 2003.
[12] D.M. Blei, M. I. Jordan. Modeling annotated data[C]. Proc. of SIGIR, 2003.
[13] Chong Wang, David Blei, LiFei-Fei. Simultaneous Image Classification and Annotation[C]. CVPR, 2009.
[15] J. Liu, M. Li, Q. Liu, H. Lu，S. Ma. Image annotation via graph learning[J].
Pattern Recognition, 2009, 42:218-228.
[16] C. Wang ， F. Jing, L. Zhang ， H.J. Zhang. Scalable search-based image annotation of personal images[C]. Proceedings of the 8th ACM international workshop on Multimedia information retrieval, 2006:69-278.
[17] X. Wang，L. Zhang，F. Jing, W. Ma. AnnoSearch: Image Auto-Annotation by Search[C]. Proceedings of the 2006 IEEE Computer Soeiety Conference on Computer Vision an Pattern Recognition, 2006:1483-1490.
[18] Rui Xiaoguang, Li Mingjing ， Li Zhiwei ， Ma Wei-Ying ， Nenghai Yu. BiPartite Graph Reinforcement Model for Web Image Annotation[C]. Proceedings of the 15th annual ACM international conference on Multimedia,2007.

关于聚类

[19] SHRIVASTAVA R, UPADHYAY K, BHATI R etal. Comparison between KMean and C-Mean Clustering for CBIR[C]. Proceedings of the 2010 Second International Conference on Computational Intelligence, Modeling and Simulation, 2010:117-118.
[34] T. Zhang, R. Ramakrishnan, M. Livny. Birch: an efficient data clustering method for very large databases[C]. Proceedings of the ACM SIGMOD Conference on Management of Data, 1996:103-114.
[35] S. Guha, R. Rastogi, K. Shim. CURE: a clustering algorithm for large databases[C]. Proceedings of the ACM SIGMOD Conference on Management of Data, 1998:73-84.
[36] S. Guha，R. Rastogi，K. Shim. ROCK: a robust clustering algorithm for categorical attributes[C]. Pro ceedings of the 15st International Conference on Data Engineering, 1999:23-26.

[37] G. Karypis, E. Han, V. Kumar. Chame leon: hierarchical clustering using dynamic modeling[J]. IEEE Computer 1999,32:68-74.

[38] L. Kaufman, P. J. Rousseeuw. Finding Groups in Data: An Introduction to Cluster Analysis. 1990.
[41] FREY B, DUECK D. Clustering by passing messages between data points[J].
Science, 2007, 315(5814):972-976.
[43] 肖宇 , 于剑 . 基于近邻传播算法的半监督聚类 [J]. 软件学报 , 2008, 19(11):2803-2813

关于跨媒体

[14] J. Y. Pan, H. J. Yang, D. Pinar. Automatic multimedia cross-modal correlation discovery[C]. The Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2004:653-658.

资源（对应技术中的标号）

【1】Adaboost算法原理和python代码实现
【2】主成分分析原理和python代码实现https://blog.csdn.net/program_developer/article/details/80632779
【3】层次聚类和python代码实现
【4】K-MEANS 算法（cool shell）
聚类分析原理和相关参数
【5】AP聚类和python代码
AP聚类论文翻译和matlab实现
AP聚类原理

其它人脸标注论文下载