学习目标：

预训练（pre-training/trained）和微调（fine tuning）这两个词经常在论文中见到，今天主要按以下两点来说明。

什么是预训练和微调？
它俩有什么作用?

一、什么是预训练和微调？

预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。之后，你又接收到一个类似的图像分类的任务。这个时候，你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数，然后在训练的过程中，依据结果不断进行一些修改。这时候，你使用的就是一个pre-trained模型，而过程就是fine-tuning。

所以，预训练就是指预先训练的一个模型或者指预先训练模型的过程；微调就是指将预训练过的模型作用于自己的数据集，并参数适应自己数据集的过程。

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、微调的作用？

在CNN领域中。很少人自己从头训练一个CNN网络。主要原因上自己很小的概率会拥有足够大的数据集，从头训练，很容易造成过拟合。

所以，一般的操作都是在一个大型的数据集上训练一个模型，然后使用该模型作为类似任务的初始化或者特征提取器。比如VGG，Inception等模型都提供了自己的训练参数，以便人们可以拿来微调。这样既节省了时间和计算资源，又能很快的达到较好的效果。

参考文献： https://www.jianshu.com/p/330ee6e7ceda

ML笔记：预训练(pre-training/trained)与微调(fine tuning)相关推荐

《预训练周刊》第51期：无重构预训练、零样本自动微调、一键调用OPT
No.51 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
清华研究登Nature子刊：面向大规模预训练语言模型的参数高效微调
©作者 | 机器之心编辑部来源 | 机器之心近年来,清华大学计算机系孙茂松团队深入探索语言大模型参数高效微调方法的机理与特性,与校内其他相关团队合作完成的研究成果"面向大规模预训练语言模 ...
预训练+微调+Rethinking ImageNet Pre-training论文阅读笔记
文章目录一.前言二.预训练+微调 1.预训练 2.微调 3.Pytroch实现三.Rethinking ImageNet Pre-training论文笔记参考文献一.前言近期在阅读何凯明大 ...
《预训练周刊》第13期：CPM-2：大规模经济高效的预训练语言模型、变换器作为编程语言...
No.13 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第13期&l ...
Tensorflow【实战Google深度学习框架】预训练与微调含代码（看不懂你来打我）
文章目录 1.前言 2.什么是预训练和微调 3.预训练和微调的作用 4.在一个新任务上微调一个预训练的模型代码实现 1.前言预训练(pre-training/trained)和微调(fine tun ...
革命性提升-宇宙最强的NLP预训练BERT模型（附官方代码）
编辑忆臻公众号 | 机器学习算法与自然语言处理 yizhennotes 1. Bert官方源码公开终于是千呼万唤始出来,Google AI 发表于10月中旬的论文: <BERT: Pre ...
【论文阅读】用于自动中文作文评分的多阶段预训练
摘要这篇文章提出了一个基于预训练的中文作品评分方法.方法包含3个成分:弱监督预训练,有监督的交叉提示(cross-prompt)微调和有监督的目标提示(target-prompt)微调. 一个文 ...
预训练技术在美团到店搜索广告中的应用
猜你喜欢 0.2021年轻人性生活调研报告1.如何搭建一套个性化推荐系统?2.从零开始搭建创业公司后台技术栈3.2021年10月份热门报告免费下载4.微博推荐算法实践与机器学习平台演进5.腾讯PCG推 ...
不要停止预训练实战-Roberta与Albert
文章目录前言任务描述任务数据集实验设置预训练数据生成 roberta的预训练数据处理 albert的预训练数据处理预训练代码模型结构 Roberta embedding_lookup e ...
MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。
项目设计集合(人工智能方向):助力新人快速实战掌握技能.自主完成项目设计升级,提升自身的硬实力(不仅限NLP.知识图谱.计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户 ...

ML笔记：预训练(pre-training/trained)与微调(fine tuning)

学习目标：

一、什么是预训练和微调？

二、微调的作用？

ML笔记：预训练(pre-training/trained)与微调(fine tuning)相关推荐

最新文章

热门文章