MAML 和 Reptile 是比较容易实现的Meta Learning 算法（Reptile是MAML的变形），它们不改变深度神经网络的结构，只改变网络的初始化参数。通过之前的学习我们知道，预训练的方法也是进行参数的初始化，那么预训练和MAML有什么不一样呢？这篇博客将对此进行总结。

1. 训练资料不同

MAML将训练资料分成不同的任务，这些任务中的训练资料都是带有标注信息的。
Pre-training是一种自监督学习方法，所有的训练资料混在一起，并且不包含标注信息。

2. 损失函数不同

MAML Loss Function:

【小样本基础】「MAML」 VS 「Model-Pre-training」MAML与预训练的区别相关推荐

无需「域外」文本，微软：NLP就应该针对性预训练
在生物医学这样的专业领域训练NLP模型,除了特定数据集,「域外」文本也被认为是有用的.但最近,微软的研究人员「大呼」:我不这么觉得! 什么是预训练? 这是一个拷问人工智能「门外汉」的灵魂问题. 生而为 ...
Python gensim库使用word2vec 加载和保存模型、在预训练基础上训练自己的预料
Python gensim库使用word2vec 常见: gensim.models.word2vec.Word2Vec(size=300, sg=1, min_count=1) 加载和保存模型 ge ...
锁死AI基础研究的两个「智子」是什么？
作者 | 青暮.维克多编辑 | 王亚峰不像20世纪初飘在物理学上空的两朵乌云,如今AI面对的两个困境似乎更加飘渺无踪. 在小说<三体>中,当物理学家杨冬得知地球基础科学是被" ...
下列计算机应用中属于计算机辅助教学的事,2017年计算机基础考试题库完整版「附答案解析」...
2017年计算机基础考试题库完整版「附答案解析」 [解析]计算机编程语言有:机器语言.汇编语言.高级语言.其中机器语言(由二进制码组成)是计算机能直接识别或执行的,而另两种语言则需要先翻译(又称为编译 ...
《预训练周刊》第9期：TABBIE：表格数据的预训练表示、「视觉预训练神作」：不用图片却训出图像识别SOTA？...
No.09 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第9期< ...
「预训练-调优」范式的未来
智源导读:「预训练-调优」的方法,在近几年,对NLP领域带来了颠覆性的影响.然而即使我们使用了包含大量参数的大模型(例如,GPT-3),却仍然存在很多常识和推理上的问题无法解决.也有一些研究工作试图将 ...
阿里云 OAM 入选「2020中国技术力量年度榜单」，定义云原生应用交付标准
2020 年 11 月 19 日,备受关注的「2020 中国技术力量年度榜单」评选结果终于揭晓.在该榜单设立的「年度开源新锐项目」.「开源杰出贡献人物」.「云原生行业落地典范」三大分项中,阿里云云原生 ...
《预训练周刊》第5期：智源等研究力证：GPT语言理解能力不输BERT、盘点NLP预训练「兵器谱」...
No.05 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第5期< ...
《预训练周刊》第4期：智源「悟道1.0」发布、GPT-3对新一代APP的赋能路径
No.04 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第4期< ...
一文区分什么是「过拟合」和「欠拟合」？
一文区分什么是「过拟合」和「欠拟合」? https://mp.weixin.qq.com/s/_V1Yno4FzhGdGqr6JPscpw 编译:Richard Yang 来源:Towards Dat ...

【小样本基础】「MAML」 VS 「Model-Pre-training」MAML与预训练的区别

目录

1. 训练资料不同

2. 损失函数不同

【小样本基础】「MAML」 VS 「Model-Pre-training」MAML与预训练的区别相关推荐

最新文章

热门文章