一图看懂对抗神经网络中判别器怎么工作的

先梳理问题，后解答

1、对GAN网络总有个疑问，判别器是依据什么进行判别的？依据又由何而来？

这个问题至关重要，因为“依据”意味着有标签，人为提供给了神经网络标签，它才能训练好，能够识别想要认识的东西。但是在无标签的聚类中，尚未知标签，又要怎么学习训练呢？
以鉴别假币为例，人通过学习鉴别假币的种种方法，才能对假币进行识别。按这个逻辑，要想训练GAN，首先通过大量真实标签训练判别器，教会它判别方法，然后固定住判别器，训练生成器。如此吗？

2、接上个问题，“依据”是否是固定不变的？
浅显的理解中，生成器与判别器是迭代训练的，训练次数越多，生成器生成的数据越“逼真”，判别器判假能力越强大。很明显，生成器在不断学习新的“造价”能力，判别器也在不断提高“判假”能力，此时判假依据肯定不能是固定的了，网络也不能是初始训练完不再更新的那种了。问题又回到了：究竟怎么“判假”的？怎么学习“判假”能力的？

解答：

上图根据代码理解后绘制，重点在于两个红圈：sharp、counter

首先说明第一点：判别器的“依据”并非提前获得，而且也并不知道真实“依据”。这点理解起来可能会大跌眼镜：都不知道真实“依据”，凭什么判别真与假呢？

注意到输入判别器的共有两项，分别是生成器生成的membership和true label，此时true label并非该样本的真实标签，它仅仅是one hot向量，通过判别器约束membership与one hot向量逼近。意义在于该one hot的作用并非代表了真实类别，而是作为最sharp形态，约束membership也更sharp，从而类别更明显。

仅仅要求生成的membership更sharp，且是随机sharp，就能提高类别精度，这恐怕没有道理，因为one hot是随机生成，无法保证恰好是正确的类别，此时判别器与生成器是割裂的状态，二者没有任何联系，为了使判别器对生成器生成的membership也能奏效，引入了“对抗”部分：将membership从判别器输出结果取负，作为loss对生成器进行bp更新。

至此，两部分作用已添加完成：
1、生成器生成的membership与判别器输出的结果互为相反数，二者形成对抗关系，通过梯度下降寻求较优参数，使membership达到一个较为平衡的结果，我们认为此时已经具有了良好的分类精度，判别器难以继续通过对结果取负数的方式约束更新生成器了，也就是俗称判别器“判不出来真伪”了。
2、判别器引入非真实标签的true label，意在约束membership更sharp，使类别更清晰可辨。

一图看懂对抗神经网络中判别器怎么工作的相关推荐

鸿蒙系统的结构图,一图看懂鸿蒙系统中的JS开发框架！
原标题:一图看懂鸿蒙系统中的JS开发框架! " 前端这两年玩起来了三国杀,Vue,React,Angular 三足鼎立,其中 Vue 派系在国内打的 Angular 找不到北了. 因此,小程 ...
一文看懂NLP神经网络发展历史中最重要的8个里程碑！
一文看懂NLP神经网络发展历史中最重要的8个里程碑! https://mp.weixin.qq.com/s/gNZiiEfsQjlF9tArNDIt5Q 作者|Sebastian Ruder 译者|小 ...
一张图看懂2017双11中的网络产品和技术
摘要: 大家都知道,2017年双11又创造了新纪录,全天交易额1682亿,交易峰值32.5万笔/秒,支付峰值25.6W笔/秒,狂欢的背后是极其复杂庞大的技术系统,其中就有大量阿里云云计算相关的产品和技 ...
一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）
http://blog.itpub.net/29829936/viewspace-2648775/ 2019-06-25 21:31:18 卷积神经网络 – CNN 最擅长的就是图片的处理.它受到人类 ...
【深度学习理论】一文看懂卷积神经网络
[深度学习理论]一文看懂卷积神经网络 https://mp.weixin.qq.com/s/wzpMtMFkVDDH6scVcAdhlA 选自Medium 作者: Pranjal Yadav 经机器之 ...
一文看懂卷积神经网络CNN的核心
在之前,我总结了关于计算机神经网络与梯度下降的核心,详见下文链接 : 一文看懂计算机神经网络与梯度下降本文主要会对图像相关的机器学习中最为重要的网络,卷积神经网络作个人的理解分析. 1. 为什么要使 ...
一篇文章一张思维导图看懂Android学习最佳路线
一篇文章一张思维导图看懂Android学习最佳路线先上一张android开发知识点学习路线图思维导图 Android学习路线从4个阶段来对Android的学习过程做一个全面的分析:Android初级 ...
一图看懂新一代人工智能知识体系大全
来源:财经头条摘要:人工智能的发展离不开基础支持层和技术层,基础支持层包括大数据.计算力和算法:技术层包括计算机视觉.语音识别和自然语言处理.人工智能的技术本质是什么,本文会详细分析. 人工智能的发 ...
sdn体系的三个平面_十张图看懂SDN与NFV的区别与联系？
原标题:十张图看懂SDN与NFV的区别与联系? 专业的人说的很准确但是普通人难以理解,常常记不住,分不清,不专业的人往往又说的差点意思.无意间,笔者在领英上看到一个介绍SDN/NFV区别的公开文档,内 ...
一张图看懂阿里云网络产品［二］专有网络VPC
摘要: 一张图看懂网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第二篇专有网络VPC 一张图看懂阿里云网络产品系列文章,让用户用最少的时间了解网络产品,本文章是第二篇专有网络VPC 系 ...

一图看懂对抗神经网络中判别器怎么工作的

一图看懂对抗神经网络中判别器怎么工作的相关推荐

最新文章

热门文章