用物理学和域知识训练“无标注样本的”神经网络（ Outstanding Paper Award 优秀论文奖）

2017的优秀论文奖：Label-Free Supervision of Neural Networks with Physics and Domain Knowledge。

这篇论文可以运用到自动驾驶中，因为自动驾驶的环境有太多无样本标注的情况出现，没有人能对所有突发路况都事先了如指掌。这就是本论文最大应用价值之一。

借助高级的先验，进行无样本标注的训练，至少有两点好处：

省去了人工标注样本的人工成本。
高级的先验，可以在许多神经网络中复用，用来预训练。大大提高复用性和泛函能力。

这里的高级先验，可以是牛顿第二定律，也可以是万有引力公式等等（这是所谓的物理域。当然也可以有化学反应的域，天体运动域等等专业领域）。

所以论文的思路很简单：仅仅用这些公式就可以对视频中物体运动做预测了（虽然预测不是那么准确，但是，至少比没有预训练好多了，也比用人力去辛苦标注好多了）。

来看看如何做预训练（文章中叫“约束训练”（Constraint learning））：

我们的目标是训练神经网络f ，但是因为样本标签Y未知，我们用高级的先验 g 去约束Y的域值，比如，如果你在视频中抛一个物体，我们知道它应该符合牛顿第二定律，即，成抛物线的轨迹。所以在训练f 时，用先验g去约束f的训练，就能做到预训练。

所以，传统的有标注样本的训练是这样的：

而无标注样本的训练是这样的：

我们用高级先验g 约束神经网络f的训练，构造一个损失函数，同时给f一个正则项R，允许f 有一定的偏差和泛函能力。

有意思的是，这篇论文的大半篇幅用在了实验上（文章覆盖了3个典型实验），可见，评委会对文章的工业价值还是比较看重的。

第一个实验就是向上丢枕头的抛压运动实验了，它证明了仅仅加入物理公式的先验，就可以训练神经网络预测物体运动轨迹信息：

训练时，损失函数就是加入高级先验的损失函数：

其中:

正是用牛顿第二定律预判抛物线轨迹。

另一个实验，是预测视频中行人的行走轨迹：

使用一般的约束先验，就能达到很好的预测真实运动的效果，甚至比直接使用有标注样本训练有更好的泛化能力。作者认为如果使用全标注样本来训练，神经网络很容易过拟合。而使用无标注的样本训练，加入一个约束就会在整体上有效，如这个损失函数：

其中

表示限制在10mm范围内的运动。

最后一个实验，是预测图像出现的:

如果公主（金发）出现，那么马里奥也会出现，但反之不然。橘黄和绿色的小怪兽随机出现。系统训练这种高级先验，用来判断图片中有没有公主或者马里奥。第一列显示了样例图片。第二列和第三列分别显示对于公主和马里奥出现位置的预测。

此实验证明，一些约束的组合可以帮助更好地“无标注样本”地做出预测。

并且作者无标注样本的神经网络同样可以运用在离散的问题中（而不仅仅是视频）。

参考文献：

http://www.aaai.org/Conferences/AAAI/2017/aaai17program.pdf
Label-Free Supervision of Neural Networks with Physics and Domain Knowledge
http://baike.baidu.com/item/AAAI/13827607
国际顶级人工智能会议AAAI 2017 开幕在即，雷锋网奉上四大看点集锦 | AAAI 2017
AI会议的总结（by南大周志华）

用物理学和域知识训练“无标注样本的”神经网络（ Outstanding Paper Award 优秀论文奖）相关推荐

读论文：基于自监督知识的无监督新集域适应学习
标题: 基于自监督知识的无监督新集域适应学习作者: 汪云云 , 孙顾威 , 赵国祥 , 薛晖文章目录 ==Abstract== ==Introduction== ==综述== 一.相关工作 1.1 ...
无标注数据是鸡肋还是宝藏？阿里工程师这样用它
阿里妹导读:针对业务场景中标注数据不足.大量的无标注数据又难以有效利用的问题,我们提出了一种面向行为序列数据的深度学习风控算法 Auto Risk,提出通过代理任务从无标注数据中学习通用的特征表示.这 ...
无标注数据是鸡肋还是宝藏？阿里工程师这样用它
阿里妹导读:针对业务场景中标注数据不足.大量的无标注数据又难以有效利用的问题,我们提出了一种面向行为序列数据的深度学习风控算法 Auto Risk,提出通过代理任务从无标注数据中学习通用的特征表示.这 ...
新思路！商汤开源利用无标注数据大幅提高精度的人脸识别算法
出处"来自微信公众号:我爱计算机视觉" 新思路!商汤开源利用无标注数据大幅提高精度的人脸识别算法这篇论文解决的问题与现实中的人脸识别应用场景密切相关,其假设已经有了少量已经标注的 ...
使用PaddleFluid和TensorFlow训练序列标注模型
专栏介绍:Paddle Fluid 是用来让用户像 PyTorch 和 Tensorflow Eager Execution 一样执行程序.在这些系统中,不再有模型这个概念,应用也不再包含一个用于描述 ...
[Tensorflow2] 梯度反转层(GRL)与域对抗训练神经网络(DANN)的实现
文章目录概述原理回顾 (可跳过) GRL 层实现使用 GRL 的域对抗(DANN)模型实现 DANN 的使用案例 !!! 后记概述域对抗训练(Domain-Adversarial Train ...
《预训练周刊》第51期：无重构预训练、零样本自动微调、一键调用OPT
No.51 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
【自然语言处理】【知识图谱】SEU：无监督、非神经网络实体对齐超越有监督图神经网络？
SEU:从对齐到分配----简单有效的无监督实体对齐 <From Alignment to Assignment:Frustratingly Simple Unsupervised Entity ...
训练softmax分类器实例_知识蒸馏：如何用一个神经网络训练另一个神经网络
作者:Tivadar Danka 编译:ronghuaiyang 原文链接知识蒸馏:如何用一个神经网络训练另一个神经网络mp.weixin.qq.com 导读知识蒸馏的简单介绍,让大家了解知识蒸 ...

用物理学和域知识训练“无标注样本的”神经网络（ Outstanding Paper Award 优秀论文奖）

用物理学和域知识训练“无标注样本的”神经网络（ Outstanding Paper Award 优秀论文奖）相关推荐

最新文章

热门文章