深度学习：AI对抗学习比深度、增强学习能好多少

人工智能中，或许对抗学习是继深度学习、增强学习之后下一个热点，但是，它只对中等难度的任务具有实用性，依然不能解开“迁移学习”（实际中不可行）所追求的那种像人一样跨越多个领域，具备所谓的“通用学习能力”的这道大难题，也仅仅只是比以往深度学习有关的很多算法做得更好一些而已。

在包括深度学习、增强学习、迁移学习（如今基本无法实现）和对抗学习等机器学习算法中，“生成式对抗网络”的对抗学习法很重要，这一开创性的全新学习思路，很可能会成为深度学习的下一个热点。这里有必要深入讨论一下。

自从伊恩·古德费洛（Ian Goodfellow）在2014年发表了论文《生成式对抗网络》（Generative Adversarial Nets，缩写GANs）以来，对抗学习便广受关注，加之全球学界大牛，Facebook人工智能研究中心FAIR负责人、深度学习三驾马车之一的扬·勒丘恩（Yann LeCun ）在知乎网上答疑时曾说，“他最激动的深度学习进展是生成式对抗网络”，使得对抗学习成为近年来在机器学习领域的新宠。

2017年6月18日，扬·勒丘恩在Facebook上转发了一条动态，介绍了他作为合作者之一的一项研究成果：帮助对抗学习使用离散数据的“对抗性正则化的自动编码器”，该算法被评价有一种厉害的用法，可以在对抗性的设定下生成离散性的结构（比如文本）。由于对抗的过程是发生在（连续）编码上的，而不是输出上，这就可以缓解对抗性鉴别器直接用在离散输出上时可能会遇到的问题。看来，对抗学习真的受到学界的高度重视，其意义非同凡响。

对抗学习这一算法的出现，似乎打乱了之前机器学习的范畴及其划分。如今，机器学习也可以划分成如下两类：生成式模型（generative model）和判别式模型（discriminative model）。其中，近两年来流行的生成式模型主要分有三种方法，分别是生成对抗网络、变分自编码器和自回归模型。

对抗学习可以简单的理解为，培养一个对手（对抗网络），给自己（生成网络）的学习随时找茬。这样，用不同的目标分别训练对抗网络与生成网络进行竞争，一段时间后，生成方就会变得非常厉害以至于即使给定足够的线索和时间，其对抗网络也无法分辨它给的答案是真实的还是合成的。与增强学习（阿尔法狗成功的重要学习法）做个比较，或许能够管窥对抗学习的厉害之处了。

谷歌的阿尔法狗2016年与韩国围棋第一高手对弈时，还输了一局，但是，一年后与世界第一高手柯洁对战时，其怪异的棋步和高超的战法，直接将柯洁虐哭。当时做解读的嘉宾是棋圣聂卫平，他甚至评价阿尔法狗可以评定为20段高手（围棋界的最高段位是9段）。为何阿尔法狗在一年之后，对弈水准算术甚至几何级别的提升，原因就是它运用了增强学习，即人们常说的“左右互搏”术。这一技术让其可以在很短的时间内，没日没夜地与世界顶级棋手过往数以亿计的棋谱对弈，或者是自己和自己对战，水平剧增毫无悬念。

所以，增强算法极大地促进了深度学习的发展。不过，这种算法是通过平均最大化的最终奖励来达到训练目的，其结局必定会由“奖励函数”给出。但是，除非你是在玩“全透明信息”的棋类游戏，否则很难写出一个奖励函数来精确衡量来自其他领域周边环境的反馈。

在现实世界中，可以像棋类游戏一样被参数化的例子很少。也就是说增强学习的算法在实际运用上有着很大的局限性。举个驾驶游戏的例子：你是可以找到诸如撞坏车辆、使乘客受伤和不合理地加速等的某个负向奖励的，但却很难找到一个可以规范驾驶行为的正向奖励，比如因何转弯，转多少，时速如何决定；为何要时左时右，时慢时快，怎样决定左多少、右多少，快多少、慢多少等等。然而，对抗学习却不同，它既不是以平均最大化来设定目标，也不是以一个正向、负向的奖励来训练机器。它有如一位学生学习写字一样，在模仿老师或字帖字体结构与笔画的过程中内化了这些技能。不同的是，这位学生身旁还一直站着 “对抗网络”这位严肃的、不断成长的高手，有如专家，他为确保能随时随地为你纠偏，正唠唠叨叨，不停地肉里挑刺呢！你想你的学习提高到底有多快？这也是这一学习算法为何备受大家、牛人推崇的根源之所在。

正因为如此，有人提出：增强学习这种一度被认为最接近人类学习的算法，根本就不像人类的学习，只有对抗学习这种算法才更接近人类的学习方式。到底是不是呢？那我们就来简单分析一下：

对抗学习有生成方与识别方两个网络，都是分别训练的。试想，你一会儿训练生成方，一会儿训练识别方，如此反反复复，实际上并不能保证其结果会收敛于一个稳定的解，更别提一个最优解了。这个矛盾就是：生成网络与识别网络，到底哪个网络能够真正理解所面临实际问题？举个例子：

如果你模仿某人去完成某个任务（生成网络），如果顶级高手（对抗网络）都无法分辨这一事项是你完成抑或是模仿完成的，这说明你已经完全掌握了该任务的所有技能。但是，对于巨幅精细而难度很高的绘画作品、撰写论文这些复杂事项，可能就不再那么适用了。看来，对抗学习也有它的局限性，也仅仅在中等难度的任务具有广泛地实用性而已。

当然，不管怎样，对抗学习依然不能解开“迁移学习”（实际中不可行）所追求的那种像人一样跨越多个领域，具备所谓的“通用学习能力”的这道难题，似乎也仅仅只是比以往深度学习有关的很多算法做得更好一些而已。

深度学习：AI对抗学习比深度、增强学习能好多少相关推荐

深度学习AI美颜系列---人脸数据增强
深度学习AI美颜系列---人脸数据增强在深度学习的训练中,我们经常会对较少的数据进行数据增强,一般而言,常用的数据增强包括如下几种: 1,旋转: 2,缩放: 3,镜像: 4,平移: 5,调色: 6, ...
马里奥AI实现方式探索 ——神经网络+增强学习
首先,对于实现马里奥AI当中涉及到的神经网络和增强学习的相关概念进行整理,之后对智能通关的两种方式进行阐述.(本人才疏学浅,在神经网络和增强学习方面基本门外汉,如有任何纰漏,还请大神指出,我会第一时间 ...
【AAAI Oral】利用深度增强学习自动解数学题，准确率提升15%
[AI科技大本营导读]增强学习和人类学习的机制非常相近,DeepMind已经将增强学习应用于AlphaGo以及Atari游戏等场景当中.作为智能教育领域的引领者,阿凡题研究院首次提出了一种基于DQN( ...
深度增强学习前沿算法思想
作者: Flood Sung,CSDN博主,人工智能方向研究生,专注于深度学习,增强学习与机器人的研究. 责编:何永灿,欢迎人工智能领域技术投稿.约稿.给文章纠错,请发送邮件至heyc@csdn.n ...
深度增强学习：走向通用人工智能之路
深度增强学习:走向通用人工智能之路本文是系列文章中的第一篇,是对深度增强学习/深度强化学习的基本介绍以及对实现通用人工智能的探讨. 现在但凡写人工智能的文章,必提Alpha Go.也正是因为Alph ...
【深度学习】深度学习之对抗样本问题和知识蒸馏技术
文章目录 1 什么是深度学习对抗样本 2 深度学习对于对抗样本表现的脆弱性产生的原因 3 深度学习的对抗训练 4 深度学习中的对抗攻击和对抗防御 5 知识蒸馏技术5.1 知识蒸馏介绍5.2 为什么要有 ...
深度学习AI美颜系列
为什么要开始写AI美颜这个系列的内容? 人像美颜美妆滤镜现在来看,几乎成为了人们生活拍照,摄影的刚需,目前市面上绝大多数的算法依旧停留在传统的图像算法阶段,仅有少数的AI算法也尚属于探索研究阶段,比如 ...
深度学习AI打电话检测算法
深度学习AI打电话检测采用深度学习算法,对消防场所,安全生产场所玩手机.打电话的行为进行抓拍预警,识别率可达99%以上本算法具有如下特点: 支持上传中心管理平台选项不受光线影响,逆光.强光.夜间红 ...
零和博弈下的逆增强学习
这篇文章是个人用来水观点的,用不严谨的语言讨论两件事情,由于严格证明太长,数学都采用 hand-waving 方式的证明,大家意会思路便可,要讨论如下两件事情: 文本的生成对抗模型,下面简称文本 ...
增强学习在无人驾驶中的应用
作者:王江,吴双,刘少山本文为<程序员>原创文章,未经允许不得转载,更多精彩文章请订阅2016年<程序员> 本文是无人驾驶技术系列的第六篇,着重介绍增强学习在无人驾驶中的应用 ...

深度学习：AI对抗学习比深度、增强学习能好多少

深度学习：AI对抗学习比深度、增强学习能好多少相关推荐

最新文章

热门文章