note GAN model

GAN模型笔记

首先理清楚loss.backward()
只要tensor的属性requires_grad=True，说明这是一个叶子节点，可以对其求导数。
神经网络往往先要进行forward()一次，得到结果，然后由结果backward()反向求各参数的导数,并将结果保存在tensor.grad.data这里，这就是我们求导δlossδw\frac{\delta loss}{\delta w} δwδloss然后，优化器optimizer.step()这个操作就是更新这些参数，最基本的梯度下降法操作就是w=w−lr∗δlossδww =w-lr*\frac{\delta loss}{\delta w}w=w−lr∗δwδloss这样就完成一次网络参数的更新。
而为什么每次还要将optimizer.zero_grad()先执行以下，再执行上面操作呢？
这个optimizer.zero_grad()操作是将gard.data清零，因为上一次loss.backward()之后更新完参数，如果不清零,那么现在再次loss.backward(),这个grad.data就会由上次的data和这次的data累加得到，那么在更新参数时，由公式可以看出，就没有意义了。所以要把上次计算的偏导数更新为零，再计算现在的偏导数，从而更新参数。

上面有什么地方理解的不对的，还请各位同学批评指正！下面看GAN模型。

之所以说上面这些，是因为在用pytorch构造GAN模型时，总是要固定某一网络参数，而更新另一网络参数，这是最基本的操作。所以，一定需要了解网络是怎么更新参数的。
GAN模型，由生成器和判别器组成，这是最原始的，现在也有很多变种，这里只讲最原始最经典的GAN模型。
更新时间20190910 19:09 ,今天先到这了

note GAN model相关推荐

《How to make a pizza: Learning a compositional layer-based GAN model》学习笔记
简介提出了一种能反映披萨制作过程的生成模型,基于GAN实现了可组合的模块操作,可以实现对披萨添加/删除特定的配料,甚至可以选择烹饪或者不烹饪输入的披萨.特别地,文章将图层分解问题表述为几个连续的不成 ...
《Gans in Action》第三章用GAN生成手写数字
此为<Gans in Action>(对抗神经网络实战)第三章读书笔记 Chapter 3. Your first GAN: Generating handwritten digits 用 ...
Paper之BigGAN：《Large Scale Gan Training For High Fidelity Natural Image Synthesis》翻译与解读
Paper之BigGAN:<Large Scale Gan Training For High Fidelity Natural Image Synthesis>翻译与解读目录效果 1 ...
使用GAN 进行异常检测——anoGAN，TODO，待用于安全分析实验
先说实验成功的代码: git clone https://github.com/tkwoo/anogan-keras.git mkdir weights python main.py --mode t ...
ASP.NET MVC4 传递Model到View
原文发表在:http://www.star110.com/Note/ReadArticle/60641215331146140043.html 开发环境:.NET MVC4 + EF6.0 模型: 1 ...
plt生成固定的colormap_白话生成对抗网络GAN及代码实现
本文主要是个简单的笔记,参考资料来自下面三部分 Tutorial_HYLee_GAN Renu Khandelwal 的博客 Jason 的博客神经网络一览各种神经网络(全连接前向网络.卷积神经网 ...
SAP CRM Fiori应用My note的技术实现
(1) 在左边的list里看到的每个entry,在My note odata model里称为note header,右边的每个checkbox后面的entry称为note section. Note ...
gan简介_GAN简介
gan简介目录: (TABLE OF CONTENTS:) INTRODUCTION介绍 HISTORY OF GANsGAN的历史 INTUITIVE EXPLANATION OF GANsGAN ...
gan神经网络_神经联觉：当艺术遇见GAN
gan神经网络 Neural Synesthesia is an AI art project that aims to create new and unique audiovisual exper ...

note GAN model

GAN模型笔记

note GAN model相关推荐

最新文章

热门文章