pretraining+fine tuning
few shotlearning简单实现方法：在大规模数据做预训练模型，然后在小规模suport set上做fine tuning。方法简单准确率高。
基础数学知识：
cos函数可以判断两个向量的相似度：
长度=1时
长度=2时
softmax：
few-shot leaning 做法：
1先用大数据集训练一个神经网络，来从图片提取特征（预训练模型用来提取特征，图片的模型是否使用？其他EEG数据是否可以作为大数据来作为预训练模型的数据？若用EEG数据怎么判定预训练模型进行数据特征提取的好坏？）
2做预测时，需要用到这个预训练神经网络，将数据映射成特征向量，
3当要预测query时，就可以把query通过神经网络映射成一个特征向量，再将support set中的样本也通过神经网络映射成特征向量，然后计算query与support set中的样本cos值，输出值最小的support set样本。
预训练模型结构：
2few-shot 分类方法（常用）
（三分类）step1：从support set中每类取两个样本，通过预训练模型提取特征取平均值，然后对均值特征向量进行归一化
step2：给一张query图片，通过预训练模型映射成特征向量，然后归一化得到向量Q
step3：对Q和u1，u2，u3组成的行向量M进行相乘，然后通过softmax（）输出
fine-tuning：用来提高用预训练方法实现few-shot learning的准确率（学习w和b）：
训练技巧：目标是通过support set学习一个分类器，
技巧1是用W=M，b=0初始化，W是之前的均值特征向量，b=0
技巧2：用Entropy正则化
技巧3：对softmax前的两个向量先求cos
pretraining+fine tuning相关推荐
- 如何fine tuning
先看一个示例 keras入门 -在预训练好网络模型上进行fine-tune https://blog.csdn.net/hnu2012/article/details/72179437 我们的方法是这 ...
- pytorch深度学习-微调（fine tuning）
微调(fine tuning) 首先举一个例子,假设我们想从图像中识别出不同种类的椅子,然后将购买链接推荐给用户.一种可能的方法是先找出100种常见的椅子,为每种椅子拍摄1,000张不同角度的图像,然 ...
- 计算机视觉之迁移学习中的微调(fine tuning)
现在的数据集越来越大,都是大模型的训练,参数都早已超过亿级,面对如此大的训练集,绝大部分用户的硬件配置达不到,那有没有一种方法让这些训练好的大型数据集的参数,迁移到自己的一个目标训练数据集当中呢?比如 ...
- Bert模型 fine tuning 代码run_squad.py学习
文章目录 关于run_squad.py 分模块学习 SquadExample InputFeatures create_model model_fn_builder input_fn_builder ...
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？...
2019独角兽企业重金招聘Python工程师标准>>> 科言君 每周六提供一份高质量回答. 首先,我感觉不必像 @李Shawn 同学一样认为DNN.CNN.RNN完全不能相提并论.从 ...
- Prompt Pre-training：迈向更强大的Parameter-Efficient Prompt Tuning
©PaperWeekly 原创 · 作者 | 李国趸 单位 | 浙江大学硕士生 研究方向 | 少样本学习 前言 从 prompt learning 的发展来看,一开始关注的是将任务建模成和预训练相近的 ...
- 预训练模型：BERT深度解析《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
目录 1. 背景 2. 什么是 Bert 及原理? 3. 论文内容<BERT: Pre-training of Deep Bidirectional Transformers for Langu ...
- Don't stop pretraining，继续预训练！
作者 | 周俊贤 整理 | NewBeeNLP 大家在用BERT等预训练模型的时候,是否有根据具体的下游任务,再进行领域的预训练?可能很多朋友是直接进行fine tuning的,毕竟增加多预训练这一步 ...
- 爬在NLP的大道上——Question Answering Infused Pre-training of General-Purpose Contextualized Representations
QuIP Motivation: Method: Tips: Results: My Thoughts: 论文地址:https://arxiv.org/pdf/2106.08190.pdf Motiv ...
最新文章
- java把字符串变代码,Java/javaScript将字符串转变成可执行的语句
- 个人对继承理解以及虚析构函数的理解
- TDOA定位的Chan算法MATLAB源代码
- 全局组、域本地组、通用组到底有什么区别？它们之间的关系如何？
- java 反射 成员变量_java基础--反射（成员变量）
- 如何制定好的方案之四:执行力是决定因素
- Hadoop相关技术
- 安腾还是Power7——Unix服务器你该如何选？
- Atitit View事件分发机制
- 类型转换操作符(C++)
- 计算机连接网络显示有限访问权限,电脑WiFi连接总是提示有限的访问权限是什么意思...
- YOLO版本不兼容，报错AttributeError: Can’t get attribute ‘SPPF’ on ＜module ‘models.common’
- neo4j 初始密码
- 大一计算机网络技术实训总结,大一计算机网络技术实训报告精选
- QT-功能-实现主页面和子页面之间的跳转（最简单）
- Springboot进行qq邮箱验证
- 7 点建议助您写出优雅的 Java 代码
- krait和kryo_为什么现在高通的kryo架构只是在arm公版架构基础上小修小补?
- bilibili 网页版如何下载视频到本地（不用下载工具）
- 部队计算机考试题,军队文职面试计算机题库_江苏军队人才网