【Transformer】CLS（classification）有什么用？

CLS]就是classification的意思，可以理解为用于下游的分类任务。

一句话理解：【CSL】就是一个向量，只是不是某一个字的向量，是一个够代表整个文本的的语义特征向量，取出来就可以直接用于分类了。

意思就是它是代表整个语句的标签，代表该语句是什么含义（褒贬义/正确错误....）而不是仅仅代表一个单词的含义

主要用于以下两种任务：

单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。

语句对分类任务：该任务的实际应用场景包括：问答（判断一个问题与一个答案是否匹配）、语句匹配（两句话是否表达同一个意思）等。对于该任务，BERT模型除了添加[CLS]符号并将对应的输出作为文本的语义表示，还对输入的两句话用一个[SEP]符号作分割，并分别对两句话附加两个不同的文本向量以作区分，如下图所示。

BERT的[CLS]有什么用_Mr_不想起床的博客-CSDN博客

【Transformer】CLS（classification）有什么用？相关推荐

【读点论文】Transformer in Transformer 细化图片结构，递归使用transformer。让图片去拟合自然语言处理的操作。
Transformer in Transformer Abstract Transformer是一种新的神经架构,它通过注意机制将输入数据编码为强大的特征.基本上,视觉transformer首先将输入 ...
Transformer讲解（三）- CV变形金刚-ViT知识介绍
VIT (Vision Transformer) 模型论文+代码从零详细解读,看不懂来打我_哔哩哔哩_bilibili公众号[NLP从入门到放弃]后台回复[VIT]获取对应的PPT和代码https:/ ...
A Spatio-temporal Transformer for 3D Human Motion Prediction
A Spatio-temporal Transformer for 3D Human Motion Prediction Author: Emre Aksan.Peng Cao Chinese Tit ...
文献阅读笔记 # Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
<Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks> 用于快速搭建NLP任务的demo的开源项目sbert的原始 ...
【Bert、T5、GPT】fine tune transformers 文本分类/情感分析
[Bert.T5.GPT]fine tune transformers 文本分类/情感分析 0.前言 text classification emotions 数据集 data visualizati ...
Self-Supervised Learning (ELMO, BERT, GPT, Auto-encoder)
目录 The models become larger and larger - Self-supervised Learning ELMO (feature-based) How to repres ...
【论文笔记】A Survey of Visual Transformers（完结）
声明: 本人是来自 γ 星球的外星人为了学习地球的深度学习知识的,好回去建设自己的家乡每周不定期更新自己的论文精读笔记,中心思想是两个字 --- 易懂没啥事的兄弟姐妹们,可以和我探讨外星知识哦~ ...
jquery easyui结合mysql数据库实现后台分页
这个我实现的不太好,功能是实现了,但是有以下几个缺点: 1.虽然不是一次性加载数据然后前台分页,但是是数据库端硬分页,虽然可以每次只传10条数据,这样可以避免网络瓶颈,但是我不得不把Dao层代码写的失 ...
Spatial-Spectral Transformer for Hyperspectral Image Classification
论文地址:https://doi.org/10.3390/rs13030498 Abstract 近年来,人们提出了大量基于深度卷积神经网络(CNN)的高光谱图像(HSI)分类方法.本文提出的基于cn ...

【Transformer】CLS（classification）有什么用？

【Transformer】CLS（classification）有什么用？相关推荐

最新文章

热门文章