杂谈 | 当前知识蒸馏与迁移学习有哪些可用的开源工具?
所有参与投票的 CSDN 用户都参加抽奖活动
群内公布奖项,还有更多福利赠送
作者&编辑 | 言有三
来源 | 有三AI(ID:yanyousan_ai)
【导读】知识蒸馏与迁移学习不仅仅属于模型优化的重要技术之一,也是提升模型跨领域泛化能力的重要技术,那么当前有哪些可用的知识蒸馏和迁移学习开源工具呢?
1 PaddleSlim
PaddleSlim是百度提出的模型优化工具,包含在PaddlePaddle框架中,支持若干知识蒸馏算法,可以在teacher网络和student网络任意层添加组合loss,包括FSP loss,L2 loss,softmax with cross-entropy loss等。
https://github.com/PaddlePaddle/models/tree/develop/PaddleSlim
2 Distiller
Distiller是Intel基于Pytorch开源的模型优化工具,支持Hinton等人提出的Knowledge distillation算法。
https://github.com/NervanaSystems/distiller
3 MxNet
MxNet中集成了Bayesian Dark Knowledge方法的复现,在推荐系统中有一定作用。
https://github.com/apache/incubator-mxnet/tree/master/example/bayesian-methods
4 非官方Pytorch项目
Knowledge-Distillation-Zoo是GitHub用户AberHu蒸馏的知识蒸馏项目,支持fitnet等多个模型。
https://github.com/AberHu/Knowledge-Distillation-Zoo
deep-transfer-learning是GitHub用户easezyc整理的迁移学习项目。
https://github.com/easezyc/deep-transfer-learning
5 一些经典模型实现
Hinton等人在2015年提出了经典的知识蒸馏框架Knowledge distillation,下面是各大框架的复现。
[1] Keras
https://github.com/TropComplique/knowledge-distillation-keras
[2] Tensorflow
https://github.com/DushyantaDhyani/kdtf
[3] Caffe
https://github.com/wentianli/knowledge_distillation_caffe
更多的一些经典算法如下,留待读者自己学习,咱们就不沉迷于收藏了。
[1] Relational Knowledge Distillation算法
https://github.com/lenscloth/RKD
[2] Teacher-Assistant-Knowledge-Distillation算法
https://github.com/imirzadeh/Teacher-Assistant-Knowledge-Distillation
[3] Contrastive Representation Distillation算法
https://github.com/HobbitLong/RepDistiller
[4] Zero-shot_Knowledge_Distillation算法
https://github.com/sseung0703/Zero-shot_Knowledge_Distillation
[5] net2net算法
https://github.com/soumith/net2net.torch
[6] fitnet算法
https://github.com/adri-romsor/FitNets
6 开源综述资料
接下来再给大家介绍两个综述性质的开源资料。
第一个是知识蒸馏综述项目,包括相关的论文合集,也包括一些开源算法的实现。
https://github.com/dkozlov/awesome-knowledge-distillation
第二个是迁移学习综述项目,包括相关的论文合集,开源代码。
https://github.com/jindongwang/transferlearning
其他类似的还有https://github.com/artix41/awesome-transfer-learning,https://github.com/AI-ON/Multitask-and-Transfer-Learning,资料收集爱好者不妨关注。
7 更多理论学习
如果想要系统性学习模型优化相关的理论,可以移步有三AI知识星球 -> 网络结构1000变 -> 模型压缩板块 -> 模型剪枝,量化与蒸馏板块,知识蒸馏与迁移学习的一些解读案例如下:
总结
知识蒸馏与迁移学习相比于大量数据进行监督学习的方式,更符合人类学习的特点,在工业界有着实际落地需求,学术界有很重要的研究意义。
(*本文为AI科技大本营转载文章,转载请联系原作者)
◆
精彩推荐
◆
点击阅读原文,或扫描文首贴片二维码
所有CSDN 用户都可参与投票活动
加入福利群,每周还有精选学习资料、技术图书等福利发送
点击投票页面「讲师头像」,60+公开课免费学习
推荐阅读
Python 三十大实践、建议和技巧
2020年AI 2000最具影响力学者榜单发布,何恺明排名超过李飞飞
达摩院 2020 预测:模块化降低芯片设计门槛 | 问底中国 IT 技术演进
只十分钟,唾手可得的工作机会就被我搞砸了!
2020年趋势一览:AutoML、联邦学习、云寡头时代的终结
千万不要和程序员一起合租!
十大新兴前端框架大盘点
联盟链走向何方
用比特币的中间层知识完善区块链认知
-
你点的每个“在看”,我都认真当成了AI
杂谈 | 当前知识蒸馏与迁移学习有哪些可用的开源工具?相关推荐
- 【杂谈】当前知识蒸馏与迁移学习有哪些可用的开源工具?
知识蒸馏与迁移学习不仅仅属于模型优化的重要技术之一,也是提升模型跨领域泛化能力的重要技术,那么当前有哪些可用的知识蒸馏和迁移学习开源工具呢? 作者&编辑 | 言有三 1 PaddleSlim ...
- 【论文翻译_无数据知识蒸馏_元学习_2022】Up to 100× Faster Data-free Knowledge Distillation
可以参考2021的另一篇解决相似问题的文章(Learning_Student_Networks_in_the_Wild) 摘要 data-free知识蒸馏(DFKD)由于其仅使用人造合成数据压缩模型的 ...
- 【杂谈】当前模型量化有哪些可用的开源工具?
模型量化属于模型优化中的重要技术之一,是非常有效地提升模型推理速度的技术方案,那么当前有哪些可用的模型量化工具呢? 作者&编辑 | 言有三 1 Tensorflow Lite TensorFl ...
- 知识分享:值得学习的C语言经典开源项目
点击上方蓝字关注我,了解节气咨询 听上去有些荒谬,C语言的产生竟然源于一个失败的项目.1969年,通用电气.麻省理工学院和贝尔实验室联合创立了一个庞大的项目--Multics工程.该项目的目的是创建一 ...
- 【杂谈】当前模型剪枝有哪些可用的开源工具?
模型剪枝属于模型优化中的重要技术之一,经过了研究人员多年的研究,工业界也开始有一些实践,那么当前有哪些可用的模型剪枝工具呢? 作者&编辑 | 言有三 1 Tensorflow TensorFl ...
- 【深度学习】深度学习中的知识蒸馏技术(上)简介
本文概览: 1. 知识蒸馏介绍 1.1 什么是知识蒸馏? 在化学中,蒸馏是一种有效的分离不同沸点组分的方法,大致步骤是先升温使低沸点的组分汽化,然后降温冷凝,达到分离出目标物质的目的.化学蒸馏条件:( ...
- [深度学习]知识蒸馏技术
一 知识蒸馏(Knowledge Distillation)介绍 名词解释 teacher - 原始模型或模型ensemble student - 新模型 transfer set - 用来迁移tea ...
- 【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述
前言 模型部署优化这个方向其实比较宽泛.从模型完成训练,到最终将模型部署到实际硬件上,整个流程中会涉及到很多不同层面的工作,每一个环节对技术点的要求也不尽相同.但本质的工作无疑是通过减小模型大小,提高 ...
- 深度学习中的知识蒸馏技术(上)
本文概览: 1. 知识蒸馏介绍 1.1 什么是知识蒸馏? 在化学中,蒸馏是一种有效的分离不同沸点组分的方法,大致步骤是先升温使低沸点的组分汽化,然后降温冷凝,达到分离出目标物质的目的.化学蒸馏条件:( ...
最新文章
- 如果卷积神经网络存在根本性的缺陷,你会怎么看?
- tomcat jdk servlet websocket版本对应关系
- Android之获取屏幕和视图高和宽
- 09.07 jQuery 随意整理
- win7系统怎么打开屏幕键盘
- PHP未来码支付V1.3网站源码开源版
- 单进程服务器-select版
- sqlserver模仿mysql函数FIND_IN_SET,group_concat的功能
- C/C++里面的左移和右移
- 计算机组成原理_计算机组成原理amp;认识Python
- sql 时间转换格式 convert(varchar(10),字段名,转换格式)
- 2009年下半年 系统集成项目管理工程师 下午试卷
- 数据库系统工程师考试的考点是哪些?
- python queue put阻塞_python queue length_queue length_python queue put
- 病毒全攻略:我是怎样让你感冒的
- 20P27 Premiere预设70种超酷电影级白天黑夜调色预设模板
- coreldraw怎么打印荣誉证书_CorelDraw如何批量打印证书
- Flutter 实体类转String,String转实体类
- 华为2019秋招面试问答题!(附带笔试参考题)
- 面试题:数据库优化的方法