点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：机器之心

AI博士笔记系列推荐

周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接

近日，在 GitHub 上看到了一个非常有意义的项目 PyTorch-StudioGAN，它是一个 PyTorch 库，提供了条件 / 无条件图像生成的代表性生成对抗网络（GAN）的实现。据主页介绍，该项目旨在提供一个统一的现代 GAN 平台，这样机器学习领域的研究者可以快速地比较和分析新思路和新方法等。

该项目的作者为韩国浦项科技大学的硕士生，他的研究兴趣主要包括深度学习、机器学习和计算机视觉。

项目地址：https://github.com/POSTECH-CVLab/PyTorch-StudioGAN

具体而言，该项目具有以下几个显著特征：

• 提供了大量 PyTorch 框架的 GAN 实现；

• 基于 CIFAR 10、Tiny ImageNet 和 ImageNet 数据集的 GAN 基准；

• 相较原始实现的更好的性能和更低的内存消耗；

• 提供完全最新 PyTorch 环境的预训练模型；

• 支持多 GPU（DP、DDP 和多节点 DDP）、混合精度、同步批归一化、LARS、Tensorboard 可视化和其他分析方法。

对于这个 PyTorch GAN 库，有网友表示：「看上去很不错！如果可以提供 top-k 等现代训练实践以及各种增强方法就更棒了。」对此，项目作者称其会在 NeurIPS 论文提交截止日期之后，添加一些改进的方法，如 Sinha 等人的 Tok-K 训练以及 Langevin 采样和 SimCLR 增强。

此外，有网友询问是否可以将该项目用于图像之外的其他领域。作者表示可以，即使无法使用一些稳定器（如 diffaug、ada 等），依然可以通过调整 dataLoader 来训练自己的模型。

18+ SOTA GAN 实现

如下图所示，项目作者提供了 18 + 个 SOTA GAN 的实现，包括 DCGAN、LSGAN、GGAN、WGAN-WC、WGAN-GP、WGAN-DRA、ACGAN、ProjGAN、SNGAN、SAGAN、BigGAN、BigGAN-Deep、CRGAN、ICRGAN、LOGAN、DiffAugGAN、ADAGAN、ContraGAN 和 FreezeD。

cBN：条件批归一化；AC：辅助分类器；PD：Projection 判别器；CL：对比学习。

其中，需要注意以下几点：

• G/D_type 表示将标签信息注入生成器或判别式的方式；

• EMA 表示生成器中应用更新后的指数移动平均线；

• Tiny ImageNet 数据集上的实验使用的是 ResNet 架构而不是 CNN。

下图中 StyleGAN2 为即将实现的 GAN 网络，其中 AdaIN 表示自适应实例归一化（Adaptive Instance Normalization）。

环境要求

• Anaconda

• Python >= 3.6

• 6.0.0 <= Pillow <= 7.0.0

• scipy == 1.1.0

• sklearn

• seaborn

• h5py

• tqdm

• torch >= 1.6.0

• torchvision >= 0.7.0

• tensorboard

• 5.4.0 <= gcc <= 7.4.0

• torchlars

用户可以采用以下方法安装推荐的环境：

conda env create -f environment.yml -n studiogan

在 docker 中还可以采用以下方式：

docker pull mgkang/studiogan:latest

以下是创建名字为「studioGAN」容器的命令，同样也可以使用端口号为 6006 来连接 tensoreboard。

docker run -it --gpus all --shm-size 128g -p 6006:6006 --name studioGAN -v /home/USER:/root/code --workdir /root/code mgkang/studiogan:latest /bin/bash

使用方法

使用 GPU 0 的情况下，在 CONFIG_PATH 中对于模型的训练「-t」和评估「-e」进行了定义：

CUDA_VISIBLE_DEVICES=0 python3 src/main.py -t -e -c CONFIG_PATH

在使用 GPU (0, 1, 2, 3) 和 DataParallel 情况下，在 CONFIG_PATH 中对于模型的训练「-t」和评估「-e」进行了定义：

CUDA_VISIBLE_DEVICES=0,1,2,3 python3 src/main.py -t -e -c CONFIG_PATH

在 python3 src/main.py 程序中查看可用选项，通过 Tensorboard 可以监控 IS、FID、F_beta、Authenticity Accuracies 以及最大奇异值：

~ PyTorch-StudioGAN/logs/RUN_NAME>>> tensorboard --logdir=./ --port PORT

可视化以及分析生成图像

StudioGAN 支持图像可视化、k 最近邻分析、线性差值以及频率分析。所有的结果保存在「./figures/RUN_NAME/*.png」中。

图像可视化的代码和示例如下：

CUDA_VISIBLE_DEVICES=0,...,N python3 src/main.py -iv -std_stat --standing_step STANDING_STEP -c CONFIG_PATH --checkpoint_folder CHECKPOINT_FOLDER --log_output_path LOG_OUTPUT_PATH

k 最近邻分析，这里固定 K=7，第一列中是生成的图像：

CUDA_VISIBLE_DEVICES=0,...,N python3 src/main.py -knn -std_stat --standing_step STANDING_STEP -c CONFIG_PATH --checkpoint_folder CHECKPOINT_FOLDER --log_output_path LOG_OUTPUT_PATH

线性插值（仅适用于有条件的 Big ResNet 模型 ）的代码和示例如下：

CUDA_VISIBLE_DEVICES=0,...,N python3 src/main.py -itp -std_stat --standing_step STANDING_STEP -c CONFIG_PATH --checkpoint_folder CHECKPOINT_FOLDER --log_output_path LOG_OUTPUT_PATH

参考链接：https://www.reddit.com/r/MachineLearning/comments/lu9gen/p_pytorch_gan_library_that_provides/m

end

我是王博Kings，一名985AI博士，华为云专家/CSDN博客专家，单个AI项目在Github上获得了2000标星，为了方便大家交流，附上了联系方式。

这是我的私人微信，还有少量坑位，可与相关学者研究人员交流学习 

目前开设有人工智能、机器学习、计算机视觉、自动驾驶（含SLAM）、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群，备注：CV联盟

王博Kings 的公众号，欢迎关注，干货多多

王博Kings的系列手推笔记（附高清PDF下载）：

博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（上）

博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机（下）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（上）

博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类（下）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（上）

博士笔记 | 周志华《机器学习》手推笔记第八章集成学习（下）

博士笔记 | 周志华《机器学习》手推笔记第九章聚类

博士笔记 | 周志华《机器学习》手推笔记第十章降维与度量学习

博士笔记 | 周志华《机器学习》手推笔记第十一章特征选择与稀疏学习

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论（上）

博士笔记 | 周志华《机器学习》手推笔记第十二章计算学习理论（下）

博士笔记 | 周志华《机器学习》手推笔记第十三章半监督学习

博士笔记 | 周志华《机器学习》手推笔记第十四章概率图模型

点个在看支持一下吧