NEIL: Extracting Visual Knowledge from Web Data

知识图谱总结

常识知识图谱：
Cyc：An introduction to the syntax and content of cyc
ConceptNet：“Conceptnet—a practical commonsense reasoning tool

NEIL: Extracting Visual Knowledge from Web Data

知识图谱总结
- 背景
- 动机
- NEIL可行原因：
- 贡献
- 相关工作
- 3、技术方法
- - 3.1 通过谷歌图像搜索的种子分类器
  - 3.2 关系抽取
  - 3.3 通过标记新实例进行再训练
  - 实验细节
- 4、实验结果
- - 4.1 NEIL的统计数据
  - 4.2 定性细节
  - 4.3 通过人体受试者评估质量
  - 4.4 运用知识完成视觉任务

背景

提出了NEIL(永无休止的图像学者)，一个每天24小时，每周7天运行的计算机程序，自动从互联网数据中提取视觉知识。NEIL使用一种半监督学习算法来共同发现常识关系(例如，“Corolla是一种/看起来类似于Car”，“Wheel是Car的一部分”)，并给给定的视觉类别的实例标上标签，这是一个尝试开发世界上最大的可视化结构化知识库，以最少的人力标记工作。截至2013年10月10日，NEIL已经在200个核心集群(超过350K CPU小时)上连续运行了2.5个月，拥有1152个对象类别、1034个场景类别和87个属性的本体。在此期间，NEIL发现了1700多个关系，标记了400K多个可视化实例。

动机

计算机视觉最近的成功主要归功于视觉知识的不断增长，如场景、物体、动作、属性以及它们之间的上下文关系等。但当我们继续前进时，一个关键的问题出现了:我们如何在一个巨大的规模上收集这些结构化的视觉知识?最近的尝试如ImageNet和Visipedia试图利用人类智能来完成这项任务，我们认为这类方法缺乏收集大量视觉知识所需的丰富性和可伸缩性。ImageNet中只有7%的数据有边界框，关系仍然通过Wordnet提取。本文提出了一种从互联网规模数据中自动提取视觉知识的方法，从图像和视频中自动提取知识的可行性本身取决于计算机视觉的技术水平。虽然我们已经见证了检测和识别任务的重大进展，但要自动提取给定图像的语义内容，我们还有很长的路要走。那么，真的有可能使用现有的方法直接从网络数据中收集视觉知识吗?
1.1 NEIL：一个每天24小时，每周7天运行的计算机程序。为了（1）语义理解网络上的图像
（2）利用语义理解，用新的标记实例和常识关系来拓展其知识库（3）使用这个数据集和这些关系构建更好的分类器和检测器，反过来有助于提高语义理解。
NEIL是一个受约束的半监督学习系统，利用大规模的视觉数据来自动提取常识关系，然后用这些关系来标记现有类别的视觉实例，是一种尝试以最少的人力开发世界上最大的视觉结构化知识库（反应互联网上图像的事实内容的知识库，这将对许多计算机视觉和人工智能工作有用）。
NEIL可以使用web数据提取（1）带有边界框的对象类别的标记实例（2）已标记的场景实例（3）标记属性的例子（4）物体类别的可视子类（5）关于场景、物体和属性的常识关系。

NEIL可行原因：

(1)宏观视野vs.微观视野:
“微观视野”这个术语来指代传统范式：输入是一张图像，输出是从图像中提取的一些信息。
“宏观视野”定义为一种范式：输入是大量图像，所需的输出是在视觉数据中提取重要或有趣的模式(例如，在赛道上经常检测到汽车)。这些模式帮助我们提取常识关系。
注意，关键的区别在于，宏观视觉不需要我们理解语料库中的每一幅图像，并提取出所有可能的模式。相反，它依赖于理解一些图像，并从统计上结合这些证据来建立我们的视觉知识。
（2）视觉世界的结构：利用视觉世界的结构，建立了检测和分类的约束，这些全局约束以类别之间的常识关系表示，大多数以前的工作使用手工定义的关系或在监督设置中学习关系。我们的关键见解是，在大范围内，人们可以在联合半监督学习框架中同时标记可视化实例和提取常识关系。
（3）语义驱动知识获取，对视觉知识使用语义表示，基于语义类别对视觉数据进行分组，并建立语义类别之间的关系，这允许使用基于文本的索引工具来初始化可视化知识库学习。

贡献

（1）提出了一种通过宏观视野从互联网上收集视觉知识的永不停歇的学习算法。在一个200核的集群上，NEIL已经连续运行了2.5个月;
(2)正在自动地建立一个大型的可视化结构化知识库，它不仅包括场景、对象和属性的标记实例，还包括它们之间的关系。虽然NEIL的核心SSL算法使用固定的词汇表，但也使用来自NELL本体的名词短语来增加我们的词汇表。目前，我们不断增长的知识库拥有1152个对象类别、1034个场景类别和87个属性的本体。NEIL已经发现了1700多种关系，并标记了这些类别的400K多个可视化实例。
(3)我们展示了在巨大的规模下联合发现关系和标记实例如何为改善半监督学习提供约束。

3、技术方法

我们的目标是从网络上的视觉数据池中提取视觉知识。
视觉知识定义为任何有助于提高视觉任务(如图像理解和物体/场景识别)的信息。
视觉知识的一种形式是标记不同类别或标记段/边界的例子。标记的例子帮助我们学习分类器或检测器，并提高图像理解能力。另一个视觉知识的例子是关系。例如，空间上下文关系可以用来提高物体识别的能力。本文将视觉知识表示为语义类别的标注实例以及语义类别之间的关系。
我们的知识库由以下的例子组成：(1)对象(如Car, Corolla);(2)场景(如Alley、Church);(3)属性(如蓝色、现代)。注意，基于对象，我们学习检测器，对于场景，我们构建分类器，然而在本文的其他部分，我们将交替使用术语检测器和分类器。知识库中包含四种关系：(1) Object-Object (e.g., Wheel is a part of Car);(2) Object-Attribute (e.g., Sheep is/has White);(3) Scene-Object (e.g., Car is found in Raceway); (4) Scene-Attribute (e.g., Alley is/has Narrow).
方法概要如图所示：

使用谷歌搜索来下载每个对象、场景和属性类别的数千张图像，然后我们的方法使用一种迭代方法来清理标签，并以半监督的方式训练检测器、分类器。
对于一个给定的概念（如汽车），首先使用基于范例的聚类方法发现潜在的视觉子类别和这些子类别的边界框。然后使用聚类和定位的结果训练一个概念的多个检测器（每个子类别一个检测器）。然后这些检测器和分类器用于对数百万幅图像进行检测，学习基于共发生统计的关系。
在这里，我们利用了我们对宏观视角感兴趣的事实，因此只使用自信检测/分类构建共现统计。一旦我们有了关系，我们将它们与我们的分类器和检测器一起使用来标记大量的噪声图像(第3.3节)。将最有信心的标记图像添加到标记数据池中，并用于重新训练模型，这个过程会不断重复。在每次迭代中，我们学习更好的分类器和检测器，这反过来帮助我们学习更多的关系，并进一步约束半监督学习问题。下面详细描述每个步骤。

3.1 通过谷歌图像搜索的种子分类器

半监督算法的第一步是为视觉类别创建分类器。建立分类器的一种方法是通过一些人工标注的种子图像。这里采用基于文本的图像检索引擎为训练初始化检测器提供种子图像。对于场景和属性分类器，直接使用这些检索到的图像作为正数据。然而这种方法失败的原因主要有四个：
（1）离群值，由于基于文本的图像检索不完善，下载的图像通常有不相关的图像/离群值
（2）一词多义ii，很多情况下，语义类别可能会超载，一个语义类别可能有多个含义（apple可以同时表示公司和水果）
(3)视觉多样性，由于不同的视点、光照等原因，检索到的图像可能存在着较大的类内变异
（4）定位，在许多情况下，检索到的图像可能是一个没有边界框的场景，因此需要在训练检测器之前对概念进行定位。
目前的大多数方法都通过聚类来处理这些问题。聚类有助于处理视觉多样性和发现多义检索，可以帮助我们根据聚类中心的距离来排除异常值，聚类的一种简单方法是在所有可能的边界框上使用k-means，然后使用具有代表性的集群作为视觉子类别。然而使用k-means聚类存在两个问题:（1）高维性，我们使用color HOG表示和标准距离度量在高维中不能很好的工作（2）可伸缩性，大多数聚类方法倾向于划分完整的特征空间，在给出的示例中，由于没有提供边框，所以每个图像都会创建数百万个数据点，其中大多数数据点都是异常值，最近的研究表明，k-means是不可伸缩的，由于他为每个数据点分配成员，所以性能很差。
建议对聚类使用以下两步方法：第一步，从谷歌image search中挖掘下载的图像集用来创建候选对象窗口，具体来说，每一幅图像都用于使用最近提出的exemplar-LDA训练检测器，然后使用这些探测器对下载的同一组图像进行密集检测，从多个检测器中选择得分较高的前k个窗口，修剪出异常值，因为候选窗口是通过代表性选择的，在图三中，没有任何一个三轮车探测器指向圆点或是人们吃东西这样的异常点，这些图像在候选阶段已经被拒绝，一旦有了候选窗口，就在下一步对他们进行聚类。但是不使用高维的CHOG表示来进行聚类，使用每个窗口的检测痕迹（表示为窗口上种子检测器的ELDA分数的向量）创建K*K亲和矩阵，亲和矩阵的元素（i，j）项是窗口i和j的这个向量的点积。直观的说，如果在两个窗口上触发了同一组检测器，这一步将连接候选窗口，一旦有了亲和力矩阵，将使用标准的亲和性传播算法对候选窗口进行聚类，亲和传播算法允许我们为每个聚类提取一个代表性窗口，充当对象的标志性图像。聚类之后我们使用集群中四分之三的图像为每个聚类/子类别训练一个检测器，剩下的四分之一用作校准的验证集。

3.2 关系抽取

一旦我们初始化了对象检测器、属性检测器、属性分类器和场景分类器，我们可以使用它们自动地从数据中提取关系，核心思想是：我们不需要从互联网上下载每一张图像，而是要大规模检测和分类的统计模式。这些模式可用于在每次迭代关系中选择top-N关系。具体来说，我们提取了四种不同的关系：
（1）object-object关系：
1）包括部分关系如眼睛是婴儿的一部分
2）分类关系：如BMW320是一种车
3）相似性关系：如天鹅与鹅看起来相似。
为了提取这些关系，首先构建一个共检测矩阵，矩阵中的元素表示同时检测到对象类别i和j的概率。直观上，当对象检测器i检测到的包围框中包含的对象j时，共检测矩阵中的值就高。
为了考虑到到处发射的探测器和有很多探测的图像，将共检测矩阵归一化，归一化的矩阵中的元素表示检测器i对于图像物体类别j的顶部检测的平均分。
一旦我们选择了一种类别之间的关系，我们会学习他在相对位置、相对长宽比、相对分数和检测大小的均值和方差方面的特征。例如，鼻子和脸的关系特征是低相对窗口大小（鼻子小于面部面积的20%，鼻子的相对位置在脸的中心）。这用来定义兼容函数，兼容函数用来评价i类和j类的检测是否兼容。还定义相对特征将关系划分为两个语义类别（部分的、分类的/相似的）以使可视化数据库具有人类可交流的观点。
（2）object-attribute关系：第二种关系是对象-属性关系，比如披萨是圆的，向日葵是黄色的。
为了提取这些关系，我们使用和在已标记的示例中检测属性的相同办法，这些检测和他们的分数被用来建立一个规范化的共同检测矩阵，该矩阵被用来寻找最相关的对象-属性关系
（3）scence-object关系：该算法提取的第三类关系是场景-物体关系，包括车辆段有公交车、监控室里由监视器等关系，为了提取场景与物体之间的关系，在不同场景类别的随机采样图像上使用物体检测器，然后使用这些检测结果来创建规范化的共存矩阵（类似于对象-对象关系），矩阵中中元素表示物体类别i和场景类别j的实例检测的可能性。
（4）Scene-Attribute关系：提取的场景-属性关系包括海是蓝色的，巷子是窄的等场景属性关系，这里采用一种简单的场景-属性关系提取方法：计算联合矩阵，矩阵中的元素表示属性i在场景图象j上的平均分类分数，共分类矩阵最上边的条目用于提取场景-属性关系。

3.3 通过标记新实例进行再训练

一旦我们拥有了一组初始化的分类器/检测器和一组关系，我们使用他们来找到不同对象和场景类别的新实例，然后将这些新实例添加到已经标记的数据集中，使用已经更新的已标记数据重新训练新的分类器/检测器，然后这些新的分类器被用来提取更多的关系，这些关系有被用来标记更多的数据等等。
找到新实例的一种方法是直接使用检测器本身，例如使用汽车检测器来寻找更多的汽车，然而这种方法会产生语义漂移，为了避免语义漂移，我们使用上一节中提取的丰富关系集，并确保新标记的汽车实例满足提取的关系。（例如：有轮子，在跑道中找到）
用RoR_{o}Ro,RAR_{A}RA和RSR_{S}RS表示在t次迭代中object-object，object-attribute和scence-object集，如果ϕi\phi _{i}ϕi表示从物体检测器i中检测到的物体，ωk\omega _{k}ωk表示场景检测器中的场景，ψi,j\psi _{i,j}ψi,j表示两个物体种类之间的兼容性函数，那我们可以使用下方的上下文得分函数找到物体类别i的新实例：
ϕi(x)+∑i,jϵRO∪RAϕj(xl)ψi,j(x,xl)+∑i,kϵRsωk(x)\phi _{i}(x)+\sum_{i,j\epsilon R_{O}\cup R_{A}}\phi _{j}(x_{l})\psi _{i,j}(x,x_{l})+\sum_{i,k\epsilon R_{s}}\omega _{k}(x)ϕi(x)+i,jϵRO∪RA∑ϕj(xl)ψi,j(x,xl)+i,kϵRs∑ωk(x)
其中xxx表示被评估的窗口，xlx_{l}xl表示相关的物体/属性类别的顶部检测器的窗口。
上述的等式由三部分：
第一部分是物体类别部分，通过窗口xxx的svm探测器的分数计量。
第二个部分时如果物体类别i和物体属性类别j存在有关系（i，j）时这个类别的一部分的兼容性，例如如果车轮是汽车的一部分存在在类别中，这个部分将会是车轮检测器的得分和车轮的窗口xxx和汽车的窗口xxx之间的兼容性得分。
最后一个部分是计量场景-图像的兼容性，因此，如果知识库中包含关系“汽车被发现在公路上”，这部分提高了赛车在公路场景中的检测分数，在每次迭代中，我们还添加了不同场景类别的新实例，使用下面给出的上下文评分函数找到场景类别k的新实例：
ωk(x)+∑m.kϵRA‘ωm(x)+∑i,kϵRsϕi(xl)\omega _{k}(x)+\sum_{m.k\epsilon R_{A`}}\omega _{m}(x)+\sum_{i,k\epsilon R_{s}}\phi _{i}(x_{l})ωk(x)+m.kϵRA‘∑ωm(x)+i,kϵRs∑ϕi(xl)
其中RA‘R_{A`}RA‘表示场景-属性关系，上式中由三个部分：
第一部分是场景类别本身的外观项，使用场景分类器进行估计，第二部分是属性类别的外观项，使用属性分类器进行估计，这个部分保证如果场景-属性关系存在则属性分类器的得分应该是高的。
第三部分是物体类别的外观项，使用相应的物体探测器进行估计，这个部分保证如果场景-物体关系存在，那么物体检测器应该能够在检测场景中检测到物体。

实验细节

为了训练场景和属性分类器，首先从每个图像中提取3912维特征向量。特征向量包括512D GIST特征，并且结合SIFT、HOG、实验室的颜色空间和纹理基元，字典的大小分别为1000，1000，400，1000。从其他类别中随机抽取窗口的特征值作为反例，用于支持向量机训练和硬挖掘。对于物体和属性部分，我们使用CHOG特征，其bin大小为8，我们使用潜在支持向量机模型（不含部件）训练检测器。

4、实验结果

通过定性结果、通过人体实验进行验证以及对象检测和场景识别等任务的定量结果来证明视觉知识的质量。

4.1 NEIL的统计数据

NEIL的核心算法时使用固定的词汇，我们使用来自NEIL的名词短语来增加NEIL的词汇。
截至2013年10月10日，尼尔拥有1152个物体类别、1034个场景类别和87个属性，已经下载了超过200万张图片来提取当前的结构化知识。
为了引导我们的系统，使用一些来自imagnet、sun或者来自谷歌image search的top图像，为了在本文中进行广泛的实验评估。在过去的2.5个月里，我们在steroid上训练了NEIL（200核而不是通常使用的30核），NEIL已经完成了16次迭代，并且标记了超过400k个视觉实例（包括30万个带有边界框的对象）。提取了1703中常识关系，读者可以浏览当前的视觉知识库，并且可以从www.neil-kb.com上下载探测器。

4.2 定性细节

首先展示了NEIL提取视觉知识的一些定性结果，图4显示了提取的可视化子类别，以及属于每个子类别的几个标记实例。

从图中可以看出，NEIL算法通过聚类过程有效地处理了类内变异和多义问题。
不同概念集群的纯粹性和多样性表明，上下文关系有助于我们的系统对语义漂移的鲁棒性，以及确保多样性。图5显示了尼尔提取的场景-对象和对象-对象关系的一些定性示例。它有效地使用一些自信检测来提取有趣的关系。

图6显示了NEIL提取的一些有趣的场景-属性和对象-属性关系。

4.3 通过人体受试者评估质量

接下来需要评估NEIL提取的视觉知识的质量。需要指出的是对整个NEIL系统进行广泛而全面的评估是一项极其困难的任务。评估每一个标记实例和每一个关系的正确性是不切实际的。因此，我们随机抽取500个可视化实例和500个关系，并使用人类专家来验证它们。在第6次迭代结束时，尼尔提取的关系有79%是正确的，尼尔标记的视觉数据有98%是正确的。我们还评估了每个迭代的关系正确性:在迭代1时，超过96%的关系是正确的，到迭代3时，系统稳定，提取的关系是正确的80%。虽然目前系统没有显示出任何主要的语义漂移，但随着尼尔年龄的增长，我们确实计划继续评估和广泛分析知识库。还评估了尼尔生成的边界盒的质量。为此随机抽取了100幅图像，并标记了真实边界框。在标准的交集-联合度量中，NEIL生成的边界盒与地面真实值平均重叠0.78次，为了说明任务的难度，标准的Objectness算法生成的边界框平均有0.59个重叠。

4.4 运用知识完成视觉任务

最后，我们想展示NEIL学到的视觉知识在标准视觉任务上的有用性：如物体检测和场景分类。
在这里，我们还将比较我们方法的几个方面:
(a)我们首先比较我们自动标记的数据集的质量。作为基线，我们直接在从谷歌Image Search下载的种子图像上训练分类器/检测器。
(b)我们将尼尔方法与不提取/使用关系的标准自举方法进行比较（c）最后，我们将通过检测和分类具有和不具有学习到的关系的新的测试数据来证明关系的有用性。
场景分类：
首先为场景分类任务评估我们的视觉知识。我们使用Flickr图片构建了一个包含600张图片(12个场景类别)的数据集。我们将我们的场景分类器的性能与从谷歌图像搜索(我们的种子分类器)的前15幅图像训练的场景分类器进行比较。我们还将性能与不使用任何关系提取的标准自举方法进行比较。表1显示了结果。

我们使用平均精度(mean average precision, mAP)作为评价指标。结果表明，自动关系提取有助于约束学习问题，因此学习后的分类器具有更好的性能。最后，如果我们也使用来自尼尔关系的上下文信息，我们的表现就会得到显著的提升。
物体检测：
我们也评估我们提取的视觉知识的任务的目标检测。我们使用Flickr数据进行测试，构建了包含1000张图片(15个对象类别)的数据集。我们将性能与直接使用来自谷歌Image Search的图像(top-50和top-450)训练的目标检测器进行比较。我们也比较了在宽高比、HOG聚类和我们提出的聚类程序后训练的检测器的性能。表2显示了检测结果。

使用来自谷歌图像搜索的450张图像会因为噪声检索而降低性能。虽然其他的聚类方法也有帮助，但我们的聚类过程的收获要大得多。最后，使用NEIL训练的探测器比标准自举工作得更好。