原理

论文地址：https://arxiv.org/pdf/2012.12645.pdf

SGD倾向于收敛到loss的平稳区域平稳区域的大部分都处于边界，由于权重空间的维度比较高，SGD通常只会走到这些平稳区域的边界；SWA通过平均多个SGD的权重参数，使其能够达到平稳区域的中心.

为什么要去中心化呢？trainloss 最小的时候test error并不是最小，那么也就是泛化能力最好的地方不在train loss最小的地方。所以采用这个方法可以收敛到一个wide minima，这个wide minima有更好的泛化性；

在一个loss landscape上做visualization，优化分析，让他收敛到一个更好的local minima(极小值)

如何能收敛到这个泛化性更好的地方呢，那么采用SWA（类似优化器）能找到更好的local minima，故而泛化能力更好

wide minima数据集拟合极小值，类似定义的函数求各个参数拟合的极小值，而这个值不一定是loss最小的地方。因为loss不一定能反应拟合的曲线最小的函数。所以有时候需要更换loss

实验

模型采用：

shufflenet_v2_x0_5

数据集是cifar10

首先是没有用SWA

https://github.com/carlsummer/python_developer_tools/blob/main/python_developer_tools/cv/classes/demo/train_cifar10.py

然后是用swa

https://github.com/carlsummer/python_developer_tools/blob/main/python_developer_tools/cv/train/%E4%BA%8C%E9%98%B6%E6%AE%B5%E8%AE%AD%E7%BB%83/swa_pytorch.py

实验结果表明：

用之前41%用之后69%

推荐库：https://github.com/carlsummer/python_developer_tools

参考

https://pytorch.org/docs/master/optim.html?highlight=swa_utils

SWA(Stochastic Weight Averaging)实验相关推荐

模型泛化技巧“随机权重平均(Stochastic Weight Averaging, SWA)”介绍与Pytorch Lightning的SWA实现讲解
文章目录 SWA简介 SWA公式 SWA常见参数 Pytorch Lightning的SWA源码分析 SWALR 参考资料 SWA简介 SWA,全程为"Stochastic Weight A ...
目标检测之五：随机权值平均（Stochastic Weight Averaging，SWA）---木有看懂
随机权值平均(Stochastic Weight Averaging,SWA) 随机权值平均只需快速集合集成的一小部分算力,就可以接近其表现.SWA 可以用在任意架构和数据集上,都会有不错的表现.根据 ...
炼丹系列2: Stochastic Weight Averaging (SWA) Exponential Moving Average(EMA)
这个系列将记录下本人平时在深度学习方面觉得实用的一些trick,可能会包括性能提升和工程优化等方面. 该系列的代码会更新到Github 炼丹系列1: 分层学习率&梯度累积炼丹系列2: Sto ...
Stochastic Weight Averaging (SWA) 随机权重平均
文章目录相关链接基础思路主要内容概括 SWA图示 SWA算法 LR The Algorithm Batch normalization 在PyTorch中使用swa 最佳实践 Demo 最近 ...
Stochastic Weight Averaging
PyTorch从1.6.0版本以后开始支持Stochastic Weight Averaging. That is, after the conventional training of an obj ...
神经网络优化中的Weight Averaging
©PaperWeekly 原创 · 作者|张子逊研究方向|神经网络剪枝.NAS 在神经网络优化的研究中,有研究改进优化器本身的(例如学习率衰减策略.一系列 Adam 改进等等),也有不少是改进 no ...
论文笔记：Stochastic Weight Completion for Road Networks using Graph Convolutional Networks
ICDE2019 pytorch 笔记: 复现论文 Stochastic Weight Completion for Road Networks using Graph Convolutional N ...
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
背景传统的联邦学习在数据异构(non-iid)的场景中很容易产生"客户漂移"(client-drift)的现象,这会导致系统的收敛不稳定或者缓慢贡献提出了考虑到client ...
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning学习
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning学习背景贡献论文思想算法局部更新方式全局更新方式实验总结 ...

SWA(Stochastic Weight Averaging)实验

原理

实验

参考

SWA(Stochastic Weight Averaging)实验相关推荐

最新文章

热门文章