A Self-Attention Setentence Embedding 阅读笔记

本文利用self-attention的方式去学习句子的embedding，表示为二维矩阵，而不是一个向量，矩阵中的每一行都表示句子中的不同部分。模型中使用了self-attention机制和一个特殊的regularization term

总结

以往论文中常用的句子表示为一维向量，但是这只能表达句子的一部分信息，为此作者提处一种self-attentive机制，并基于此机制，将句子表示为一个2维矩阵，使得句子的信息尽可能多的得到保留，同时为了使得句子的信息尽可能多的保留，即行与行之间尽可能差异化，作者使用了Frobenius范数惩罚项

参考连接：

https://www.jianshu.com/p/87108d836c63

https://blog.csdn.net/john_xyz/article/details/80650677

https://blog.csdn.net/guoyuhaoaaa/article/details/78701768

A Self-Attention Setentence Embedding 阅读笔记相关推荐

DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
Small Object Detection using Context and Attention（论文阅读笔记）
Small Object Detection using Context and Attention 论文阅读笔记出处:2021 International Conference on Artifi ...
Serialized Multi-Layer Multi-Head Attention for Neural Speaker Embedding阅读笔记
主要看模型方法 Abstract 提出一个串行多层多头注意力针对neural speaker embedding,之前是将一帧的特征聚集起来进行表示.我们提出利用堆叠式的self-attention机 ...
BiNE: Bipartite Network Embedding 阅读笔记
论文传送门作者华东师范大学: 高明周傲英 Leihui Chen 中国科学技术大学: 何向南摘要传统的学习图数据的节点表示的方法大都聚焦于一般的同构网络,忽略了二部图的特殊性质.因此这些方法 ...
GAT原论文阅读笔记
<GRAPH ATTENTION NETWORKS>阅读笔记本文记录阅读GAT原论文<GRAPH ATTENTION NETWORKS>的笔记,方便后续查阅. 论文地址:&l ...
论文Is Space-Time Attention All You Need for Video Understanding?阅读笔记
目录写在前面: 1.Introduction 2.TimeSformer model 2.1Joint Space-Time 2.2Divided Space-Time 2.3Other mode ...
论文阅读笔记：MGAT: Multi-view Graph Attention Networks
论文阅读笔记:MGAT: Multi-view Graph Attention Networks 文章目录论文阅读笔记:MGAT: Multi-view Graph Attention Networ ...
文献阅读笔记----TieNet: Text-Image Embedding Network
文献阅读笔记----TieNet: Text-Image Embedding Network for Common Thorax Disease Classification and Reportin ...
（CTC损失）Hybrid CTC/Attention Architecture for End-to-End Speech Recognition阅读笔记
ASR-R (CTC损失)Hybrid CTC/Attention Architecture for End-to-End Speech Recognition阅读笔记文章目录 ASR-R (CTC ...

A Self-Attention Setentence Embedding 阅读笔记

总结

A Self-Attention Setentence Embedding 阅读笔记相关推荐

最新文章

热门文章