6.6 BERT家族02——sentence-BERT、BioBERT

文章目录

sentence-BERT
BioBERT
参考

sentence-BERT

各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。

说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文¹²³就指出了，这样得到的句向量不具有语义信息，也就是说，两个相似的句子，得到的句向量可能会有很大的差别。此外，不仅句向量表示的语义方面存在很大差别，而且，它要求两个句子都被输入到网络中，从而

6.6 BERT家族02——sentence-BERT、BioBERT相关推荐

【李宏毅】Bert家族
课程资料来自李宏毅老师油土鳖频道的BERT家族教程:上,下. 这两章主要是如何在pre-train的模型上做fine-turn,如何利用大模型来做自己的task. 目录前言什么是预训练 What ...
BERT（什么是BERT）-和Encode有什么关系
Self-supervised learning 1. 每个人都应该熟悉监督学习,当我们做监督学习时,我们只有一个模型,这个模型的输入是x,输出是y. 假设你今天想做情感分析,你就是让机器阅读一篇文章 ...
预训练模型：BERT深度解析《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
目录 1. 背景 2. 什么是 Bert 及原理? 3. 论文内容<BERT: Pre-training of Deep Bidirectional Transformers for Langu ...
BERT |（2）BERT的原理详解
在写这一篇的时候,偶然发现有一篇博客,相比于我之前的一篇写得更详尽,这一篇也参考这篇博客来继续写写自己的笔记总结. 原博客地址:一文读懂BERT(原理篇) 一.什么是Bert? 二,bert的原理从 ...
BERT |（3）BERT模型的使用--pytorch的代码解释
参考代码:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch 从名字可以看出来这个是做一个中文文本分类的的任务, ...
sentence Bert解读及代码示例
0-前序 Bert已经是相当6了,但在STS(语义文本相似性)任务中,需要将两个句子都输入到网络中,也就是说要过模型,这样计算量就大了.如下是文本相似性,并不是语义. from transformer ...
模型压缩与蒸馏！BERT家族的瘦身之路
点击上方,选择星标,每天给你送干货! 作者 | 许明整理 | NewBeeNLP公众号之前我们讨论了『模型压缩与蒸馏!BERT的忒修斯船』,算是一个开篇.本文继续讨论关于模型蒸馏(Distilli ...
NLP突破性成果 BERT 模型详细解读 bert参数微调
https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读章鱼小丸子不懂算法的产品经理不是好的程序员关注她 82 人赞了该文章 Goo ...
Bert算法：语言模型-BERT详细介绍
本文的目的是向NLP爱好者们详细解析一个著名的语言模型-BERT. 全文将分4个部分由浅入深的依次讲解. 1.Bert简介 BERT是2018年10月由Google AI研究院提出的一种预训练模型. ...
新一届最强预训练模型上榜，出于BERT而胜于BERT
作者 | Facebook AI译者 | Lucy编辑 | Jane出品 | AI科技大本营(ID: rgznai100) [导读]预训练方法设计有不同的训练目标,包括语言建模.机器翻译以及遮蔽语言建 ...

6.6 BERT家族02——sentence-BERT、BioBERT

文章目录

sentence-BERT

6.6 BERT家族02——sentence-BERT、BioBERT相关推荐

最新文章

热门文章