few-shot 微调网络

https://www.youtube.com/watch?v=3zSYMuDm6RU&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=3

预训练 + 微调

在大规模数据集上预训练，在support set上微调。方法简单，准确率高。

预备知识

1.1 cosine similarity

投影的长度，在-1 和1 之间。

如果长度不同，则就进行归一化。

softmax function

可以将一个向量，映射为一个概率分布

softmax classifier

是一个全连接层 + softmax函数

概述

大部分的few-shot都是类似的想法，都是用一个大数据集来预训练一个神经网络，用来从图像中提取特征。做few-shot预测的时候，需要用到这个网络。

我们将query和support set中的图像，都映射为特征向量。

这样就可以比较，query和support，在特征空间上的相似度。

比例，计算两两之间的cosine similarity，最后选中相似度高的，作为query的分类结果。

预训练

用什么方法训练该网络，都可以。但是神经网络的结构和训练方法，会对结果产生影响。

对特征向量最平均，得到表征松鼠的特征向量，然后是三个特征向量做归一化，得到μ1，μ3.他们的二范数，全部为1.

μ1，μ2，μ3就是对这三个类别的表征。

分类的时候，需要拿query的特征向量，分别和μ1，μ2，μ3做对比，

有了从support中各个类别的特征向量，可以对query进行分类。

此处p为三元素向量，分别表示三个类别的概率。

Fine-tuning

Fine-turning，可以大幅提高few-shot的准确率。

假设support 有三个类别，则W为三行；p的维度也是3.

Support 中有几个或者几十个标注的样本，每个样本，都对应一个cross entropy。

用support中所有的样本和标签来学习分类器。

Support 很小，因此要加正则化。防止过拟合。

训练技巧

4.1 初始化

4.2正则化

可以用entropy来衡量概率p的信息量。

4.3 cosine similarity + softmax classifier

区别：在内积之前，先做归一化。

总结

few-shot 微调网络相关推荐

Python视觉深度学习系列教程第二卷第4章微调网络
第二卷第四章微调网络在上一章中,我们学习了如何将预训练的卷积神经网络视为特征提取器.使用这个特征提取器,我们通过网络向前传播我们的图像数据集,提取给定层的激活,并 ...
草图转换网络：SketchyGAN 和 style2paints
学习报告4 目录学习报告4 从草图中合成逼真的图像 SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis (CVPR ...
ANN：DNN结构演进History—LSTM网络
为了保持文章系列的连贯性,参考这个文章: 此前的文章: DNN结构演进History-LSTM_NN ,这个文章的分析更加全面清晰:Understanding LSTM NetWork 分析了各种L ...
Unity3D-network网络相关（一）
首先:Unet技术 Unity5.1为开发者发布全新的多玩家在线工具.技术和服务.该技术的内部项目名称为 UNET,全称为 Unity Networking. 第一阶段是多玩家在线技术基础. 第二阶段 ...
迁移学习和微调深度卷积神经网络
这是由几个部分组成的博客系列,我将在此系列中聊一聊我对深度学习的经验及认识.在第一部分,我讨论了不同的有代表性的框架的优劣,以及我选择 Theano(与 Lasagne)作为我的平台的原因. 第二部分 ...
Pytorch：NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) run_glue.py微调脚本代码 python命令执行run ...
迁移学习和模型的微调
迁移学习对于新的数据,需要进行分类或者回归时,常用的方法是在以个大的数据集上(ImageNet包含120万张来自1000类别的数据集)进行预训练一个CNN模型,然后用这个预训练好的模型作为特征提取部 ...
FlowNet：使用卷积网络学习光流
FlowNet:使用卷积网络学习光流原文链接文章目录 FlowNet:使用卷积网络学习光流摘要 1. 介绍 2. 相关工作光流卷积网络. 3. 网络架构收缩部分. 扩展部分. 变分细化. ...
CVPR2020 | 即插即用！将双边超分辨率用于语义分割网络，提升图像分辨率的有效策略...
点击上方"AI算法修炼营",选择"星标"公众号精选作品,第一时间送达本文是收录于CVPR2020的工作,文章利用低分辨率的输入图像通过超分辨率网络生成高分辨 ...

few-shot 微调网络

few-shot 微调网络相关推荐

最新文章

热门文章