如何给模型加入先验知识

1. 基于pretain模型给模型加入先验

把预训练模型的参数导入模型中，这些预训练模型在另一个任务中已经p retrain好了模型的weight,往往具备了一些基本图片的能力

2. 基于输入给模型加入先验

比如说鸟类的头部是一个重要的区分部分，那么可以把模型设计的输入设计为两路输入，再把两路输入的信息融合，这样既关注了局部，又关注了整体

3. 基于模型重现给模型加入先验

尝试让模型自己发现先验知识

给鸟类的头部更多的attention

4. 基于CAM激活限制给模型加入先验

鸟出现的背景也是一个重要的参考

基于激活图，通过限制激活图的激活区域，加入目标先验

5. 基于辅助学习给模型加入先验知识

把任务分成主任务和辅助任务

总结

可以通过多种方式来选择加入自己的先验信息

给神经网络的黑盒子里加入一些认为设定的先验知识，这样往往能给task带来一定程度的提升

不过具体的task需要加入怎样的先验知识，需要如何加入先验知识还需要自己探索

https://mp.weixin.qq.com/s/r-eh7XXon96YFqSJ7xYEgw

【论文阅读】如何给模型加入先验知识相关推荐

如何给模型加入先验知识？
@作者 | Billy Z 模型加入先验知识的必要性端到端的深度神经网络是个黑盒子,虽然能够自动学习到一些可区分度好的特征,但是往往会拟合到一些非重要特征,导致模型会局部坍塌到一些不好的特征上面.常 ...
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
论文阅读:Knowledge Distillation: A Survey 知识蒸馏综述2021 目录摘要 Introduction Background 知识基于响应的知识基于特征的知识基于 ...
综述：如何给模型加入先验知识
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨Billy Z@知乎(已授权) 来源丨https://zhua ...
论文阅读：机器学习模型可解释性方法、应用与安全研究综述
近日阅读了一篇讲述可解释性的中文综述文章机器学习模型可解释性方法.应用与安全研究综述,对模型可解释性的相关知识有了进一步的了解.本文是阅读这篇综述的一些笔记以内容摘要. 0 引言背景:虽然机器学习和 ...
【论文阅读】KLD模型
旋转目标检测方法解读(KLD, NeurIPS2021) 旋转目标检测方法解读(KLD, NeurIPS2021) - 知乎 Learning High-Precision Bounding Box ...
【论文阅读】多模态模型CoCa
Introduction 在这项工作中,我们统一了单编码器.双编码器和编码器-解码器范式,并训练了一个包含三种方法优点的图像-文本基础模型.我们提出了对比Captioner模型(CoCa),该模型采用 ...
【*项目调研+论文阅读】SVM-BILSTM-CRF模型SVM-BILSTM-CRF模型 | day7
<基于SVM-BILSTM-CRF模型的财产纠纷命名实体识别方法>2018-<计算机系统应用> 文章目录一.SVM-BiLSTM-CRF 模型 1.SVM 2.Bi-LSTM ...
【论文阅读】SIR模型下网络中多信息源检测 2014-IEEE
多地方传染,多地方泄露. 三种算法: (1)树状网络,已知信息源数量,识别信息源. (2)一般网络的启发式算法,已知源数量,识别信息源. (3)信息源数量未知,估计源数目. (一)(聚类和定位) &q ...
(ICLR2019)论文阅读-使用深度增强学习框架的基于场景先验知识的视觉语义导航
论文地址: VISUAL SEMANTIC NAVIGATION USING SCENE PRIORS 1. 介绍论文的目标是使用场景先验知识来改善陌生场景中未知物体的导航效果,具体地,如下图所 ...

【论文阅读】如何给模型加入先验知识