介绍

这是第一个使用 GAN的主动学习工作，在它之后的GAN主动学习有不少，所以是首创性的工作，部分涉及分类的内容一笔带过。

背景1：主动学习

拿来了当初介绍主动学习的ppt，总得来说可以帮助我们用少量的标记获得不错的训练效果，其重点主要在于挑选送于专家人工标记样本的策略上。

这是一个基于池主动学习与本文方法的一个对比，其中池指的是unlabeled,，其方法就是从池里面挑选一部分样本交给专家标记。本文则是由模型选择认为对自己有用需要注释的特例/生成新的标记特例。

本文是另一种主动学习方法：查询合成的方法（三种方法：查询合成，基于池和基于流）。

查询合成是模型选择认为对自己有用需要注释的特例/生成新的标记特例 ≈举一反三

但是缺点在于生成的特例可能无法识别，

本文的方法改进了之后这个缺点也明显改善了：

背景2：GAN

gan稍微了解了一下，主要是用对抗方法来生成数据的一种模型，类似于我们的对抗游戏，双方通过对抗能力上涨的一个机制，核心思想源于博弈论的纳什均衡，主要由生成器和判别器组成。

其中生成器捕捉数据潜在分布，生成数据样本（就是假样本），判别器是二分类器，判断输入的数据是真实数据还是生成器生成的假数据。而学习过程就是寻找二者之间的纳什均衡，一个比较理想的状态就是判别器判别不出来是真数据还是假数据。

公式：

其中pdata是真实数据的基本分布， z是随机变量。 d和 G各有一组参数 θ1和 θ2.通过求解这个
博弈，得到了一个发生器 G。在理想情况下，给定随机输入 z，我们有 G(z)∞pdata。

原始gan损失函数公式：

x是随机变量，D是对输入图像的一个判别，只有两种输出，1就是真样本，0为假样本（生成器生成的样本）， GZ是生成的假样本。maxD是针对训练判别器D的，第一项E因为输入采样自真实数据，所以我们期望D(x)趋近于1，也就是第一项更大。同理第二项E输入采样自G生成数据，所以我们期望D(G(z))趋近于0更好，也就是说第二项又是更大。所以是这一部分是期望训练使得整体更大了，也就是maxD的含义了。

最大化log D(x)）（即对于真实数据，希望其渐渐趋向于1，就是更大更好），训练网络G最小化log(1 – D(G(z)))（对于这个输出是希望越小越好），即最大化D的损失

GAN: 原始损失函数详解 - walter_xh - 博客园 (cnblogs.com)

生成式对抗网络（GAN）-（Generative Adversarial Networks）算法总结（从原始GAN到....目前）_人工智障之深度瞎学的博客-CSDN博客

模型介绍

这个模型相当于是查询合成与不确定性采样原理结合而成，其中这里的不确定性指的是模型对数据集最不能确定的部分样本

z是潜变量，G是通过GAN算法得到的，LactiveGZ是生成信息主动学习查询的损失函数，LregGZ是确保生成样本质量的正则化项。

实验步骤：通过求解（2）在所有未标记数据上训练生成器G，人工标注少量随机选取的样本后，用DCGAN生成目前判别器相对不确定的新数据交给人去标注，由此迭代训练分类模型。

改进用于本实验的公式：这里引入了一个SVM求超平面的一个概念，看不太懂

实验：

模型训练的数据集是MNIST, SVHN and CIFAR-10，初始化50个个随机选择的样本初始化训练集。算法每次处理一批 10个新样本。

对比方法：passive GAN：从未标记的池中随机抽样实例。

Tong&Koller’s：SVM算法，用全部样本训练

randon sampling:从未标记池中随机采样实例

MNIST数据集的主动学习结果，分类为5和7。结果是5次运行的平均值。将完全监督学习精度绘制为水平线进行比较。

缺点：

G与D没有在迭代的过程中获得提升，并且太依赖于生成器生成图像的质量。

Generative Adversarial Active Learning生成性对抗性主动学习文献笔记相关推荐

MM2018/风格迁移-Style Separation and Synthesis via Generative Adversarial Networks通过生成性对抗网络进行风格分离和合成
Style Separation and Synthesis via Generative Adversarial Networks通过生成性对抗网络进行风格分离和合成 0.摘要 1.概述 2.相关工 ...
Generative Adversarial Active Learning for Unsupervised Outlier Detection
关键词:离群点检测.生成潜在离群点.维数诅咒.生成性对抗主动学习.模式崩溃问题.多目标生成性对抗主动学习 1.INTRODUCTION 1.1 Outlier Detection应用领域异常轨迹运 ...
文献阅读：《Generative Adversarial Active Learning for Unsupervised Outlier Detection》-2020 trans
文章工作:用GAN网络生成伪异常样本,结合已有正常样本,把异常检测转化为一个二分类任务贡献1: 本文提出用GAN作为异常样本的生成器,使生成的异常是有意义的异常.(针对问题:为了应对高维空间中异常样 ...
Generative Adversarial Imitation Learning分析
目录 Generative Adversarial Imitation Learning论文分析 Abstract Introduction Background Characterizing the ...
【强化学习】GAIL生成对抗模仿学习详解《Generative adversarial imitation learning》
前文是一些针对IRL,IL综述性的解释,后文是针对<Generative adversarial imitation learning>文章的理解及公式的推导. 通过深度强化学习,我们能够 ...
模仿学习笔记：生成判别模仿学习 Generative Adversarial Imitation Learning, GAIL
1 GAN (回顾) GAIL 的设计基于生成判别网络 (GAN).这里简单地回顾一下GAN,详细的可见NTU 课程笔记 7454 GAN_UQI-LIUWJ的博客-CSDN博客 GAN由生成器 (G ...
论文精读：Generative Adversarial Imitation Learning（生成对抗模仿学习）
生成对抗模仿学习论文分享(Generative Adversarial Imitation Learning) 1.背景介绍 1.1.论文背景这篇论文是2016年由斯坦福大学研究团队提出的,两位作者 ...
Generative Adversarial Zero-shot Learning via Knowledge Graphs翻译
Generative Adversarial Zero-shot Learning via Knowledge Graphs Abstract: 零样本学习(ZSL)是处理那些没有标记训练数据的看不见 ...
从《西部世界》到GAIL（Generative Adversarial Imitation Learning）算法
原文链接:https://blog.csdn.net/jinzhuojun/article/details/85220327 一.背景看过美剧<西部世界>肯定对里边的真实性(fideli ...

Generative Adversarial Active Learning生成性对抗性主动学习文献笔记

介绍

背景1：主动学习

背景2：GAN

实验：

缺点：

Generative Adversarial Active Learning生成性对抗性主动学习文献笔记相关推荐

最新文章

热门文章