结构重参数化技术【为了模型压缩】：进可暴力提性能，退可无损做压缩

训练时：
训练资源一般是相对丰富的，我们更在意推理时的开销和性能，因此我们想要训练时的结构较大，具备好的某种性质(更高的精度或其他有用的性质，如稀疏性【节省空间】)，

推理时：
转换得到的推理时结构较小且保留这种性质(相同的精度或其他有用的性质)。这样一来，训练时的结构对应一组参数，推理时我们想要的结构对应另一组参数；只要能把前者的参数等价转换为后者，就可以将前者的结构等价转换为后者。

结构A对应一组参数X，结构B对应一组参数Y，如果我们能将X等价转换为Y，就能将结构A等价转换为B。

结构重参数的意思其实是说：结构重参数化（structural re-parameterization）指的是首先构造一系列结构 (一般用于训练)，并通过将其参数等价转换为另一组参数 (一般用于推理或部署)，从而将这一系列结构等价转换为另一系列结构的技术。

The meaning of structural reparameterization is that the training-time model has a set of parameters while the inference-time model has another set, and we parameterize the latter with the parameters transformed from the former.

解读模型压缩6：结构重参数化技术：进可暴力提性能，退可无损做压缩 - 知乎

结构重参数化技术【为了模型压缩】：进可暴力提性能，退可无损做压缩相关推荐

清华丁霄汉：从RepVGG系列谈起，结构重参数化如何暴力提升性能
[专栏:前沿进展]"结构重参数化"是清华大学丁霄汉博士近年来提出的一种通用深度学习模型设计方法论.在青源 Live 第 34 期中,丁霄汉博士分享了题为「结构重参数化与通用视觉模型 ...
清华开源ResRep：剪枝SOTA！用结构重参数化实现CNN无损压缩 | ICCV 2021
分享一篇我去年突发奇想做的剪枝paper,已被ICCV-2021接受. 效果是相当SOTA的:ImageNet top1-acc为76.15%的标准ResNet-50(torchvision标准模型) ...
结构重参数化（Structural Re-Parameters）PipLine
文章目录 BASICS strcutural Inception 算法思想算法核心算法架构 Re-Parameter四部曲:ACNet ACNet原理 ACNet分析涨点原因推理阶段融合机制 ...
结构重参数化之三：Diverse Branch Block
paper: Diverse Branch Block: Building a Convolution as an Inception-like Unit code: https://github. ...
【日志--v5s结构重参数化记录】
repvgg-v5s bs512 bs128 v5s-lite-g v5s-g v5m-bs128 yolov5s repvgg-v5s1 repvgg-v5s2-not-fuse repvgg-v5 ...
直播 | 丁霄汉：结构重参数化与通用视觉模型的基本设计元素
本期为青源LIVE第34期线上直播活动,参与直播互动讨论有惊喜
轻量级CNN模块！RepGhost：重参数化实现硬件高效的Ghost模块
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群转载自:极市平台作者丨科技猛兽导读本文作者希望通过结构重新 ...
清华大学丁霄汉：深度网络重参数化——让你的模型更快更强
不到现场,照样看最干货的学术报告! 嗨,大家好.这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频--足 ...
CVPR 2022 | 超越RepVGG！浙大阿里提出OREPA：在线卷积重参数化
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达转载自:集智书童 OREPA: Online Convolutional Re-parameterizati ...

结构重参数化技术【为了模型压缩】：进可暴力提性能，退可无损做压缩

结构重参数化技术【为了模型压缩】：进可暴力提性能，退可无损做压缩相关推荐

最新文章

热门文章