贴一下汇总贴：论文阅读记录

论文链接：《Sentence Similarity Based on Contexts》

一、摘要

现有的衡量句子相似度的方法面临两个挑战：（1）标记数据集通常规模有限，使其不足以训练监督型神经模型；（2）由于没有在训练时显式建模句子级语义，因此基于无监督语言建模（LM）的模型在计算句子之间的语义分数时存在训练测试缺口。这会导致该任务的性能降低。在这项工作中，我们提出了一个解决这两个问题的新框架。所提出的框架基于这样的核心思想：一个句子的含义应由其上下文定义，并且可以通过比较在相同上下文下生成两个句子的概率来衡量句子的相似性。拟议的框架能够产生高质量，具有无监督方式的两个句子之间的语义相似性评分的大规模数据集，可以在很大程度上弥补训练测试的差距。大量实验表明，在不同数据集的有监督和无监督设置下，所提出的框架在现有基准上均实现了显着的性能提升。

二、结论

在这项工作中，我们提出了一个新的框架来衡量句子相似性的基础上，事实上，产生两个相似的句子基于相同的背景应该是相似的。我们提出了一个流水线系统，首先收集大量的句子对及其相似性得分，然后使用自动标记的句子对训练一个代理模型，以达到更快的推理。大量实验证明了该框架相对于现有句子嵌入方法的有效性。

三、模型

通过测量在多个上下文中生成两个句子的概率来计算两个句子之间的语义相似度。

我们可以通过以下步骤来实现这个目标：
(1)我们首先需要训练一个语境模型来预测一个句子适合左右语境的概率。这个目标可以通过判别模型来实现，即预测句子与上下文的连接形成连贯文本的概率，或者通过生成模型来实现，即预测在给定上下文的情况下生成句子的概率；
(2)接下来，给定一对句子，我们可以通过比较给定不同上下文的上下文模型所分配的分数来测量它们的相似性；
(3)对于步骤2，对于测试时的任何一对句子，我们需要对不同的上下文进行采样，以计算上下文模型分配的分数，这很耗时。因此，我们建议训练一个代理模型，该模型将一对句子作为输入，并预测上下文模型赋予的相似性。这使得更快的推理成为可能，尽管牺牲了一点点准确性；
(4)替代模型可以以无监督的方式直接用于获得句子相似性分数，或者用作模型初始化，这将在有监督的设置中在下游数据集上进一步微调。

【论文泛读85】基于上下文的句子相似度相关推荐

  1. 【论文泛读】 Deep Learning 论文合集

    [论文泛读] Deep Learning 论文合集 文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...

  2. 【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

    [论文泛读] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...

  3. 【论文速读】基于投影方法的激光雷达点云处理比较

    点云PCL免费知识星球,点云论文速读. 文章:LiDAR point-cloud processing based on projection methods: a comparison 作者:Gui ...

  4. 【论文速读】基于图像的伪激光雷达三维目标检测

    点云PCL免费知识星球,点云论文速读. 标题:End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection 作者:Rui Qian, Divy ...

  5. 【点云论文速读】基于优化的视觉惯导里程计与GPS的紧耦合的融合方案

    转载自:https://mp.weixin.qq.com/s/Y-h7eto1Zc_Mkzlh653vpg [点云论文速读]基于优化的视觉惯导里程计与GPS的紧耦合的融合方案 原创 dianyunPC ...

  6. 【论文泛读】 ResNet：深度残差网络

    [论文泛读] ResNet:深度残差网络 文章目录 [论文泛读] ResNet:深度残差网络 摘要 Abstract 介绍 Introduction 残差结构的提出 残差结构的一些问题 深度残差网络 ...

  7. 方面级情感分析论文泛读02：Syntax-Aware Aspect-Level Sentiment Classification with Proximity-Weighted Convolution

    提示1:原文链接 提示1:代码链接 文章目录 前言 一.论文信息 二.笔记要点 2.1. 目前存在的问题 2.2. 目前解决方法: 2.3.本文方法和创新点 2.4. 实验效果 2.5. 模型结构 2 ...

  8. CCS2020论文泛读记录

    写在前面 CCS '20: Proceedings of the 2020 ACM SIGSAC Conference on Computer and Communications Security ...

  9. 论文领读｜基于 VQVAE 的长文本生成

    ​欢迎关注「澜舟论文领读」专栏!关注"澜舟科技"公众号探索更多 NLP 前沿论文! 本期分享者:杨二光 北京交通大学自然语言处理实验室四年级博士生,导师为张玉洁教授,研究方向为可控 ...

最新文章

  1. 最详细的IDEA中使用Debug教程
  2. HTML字符实体（Character Entities），转义字符串（Escape Sequence）
  3. python爬虫教程书-Python 爬虫：把廖雪峰教程转换成 PDF 电子书
  4. Tomcat - Tomcat 8.5.55 启动过程源码分析阶段一_init实例化Bootstrap
  5. 【数据竞赛】从0梳理1场CV缺陷检测赛事！
  6. hihoCoder #1639 图书馆
  7. 使用screen -r时提示“There is no screen to be resumed matching xxx”的解决办法
  8. JAVA-MyBatis ORM
  9. bootstrap基础学习十篇
  10. 【Java架构师面试题】设计模式面试专题（共35题含答案）
  11. html li占用两行,谁帮我解决一下LI上下两行错位的BUG。_html/css_WEB-ITnose
  12. Windows自动压缩rar以及根据日期删除脚本
  13. 如何提高代码复用性，定义骨架？
  14. C语言运行窗口中的暂停与清屏
  15. 上传iOS应用时 ERROR ITMS-90096: Your binary is not optimized for iPhone 5。。。
  16. ActiveMQ集群安装与配置
  17. 游戏服务器哪种系统稳定,游戏服务器一般用什么系统吗
  18. 8.2 知识蒸馏方法概述
  19. ICML 2022 重思考为图结构数据异常检测设计图神经网络 | 图数据异常节点检测 | 论文解读和代码复现
  20. 关于.rdc文件导入Blender软件时失败报错的解决办法（从谷歌地图中获取带纹理的倾斜模型数据）

热门文章

  1. 卸载oracle apex,oracle关闭apex的jobs
  2. ​​​​Convolutional Neural Networks on Graphswith Fast Localized Spectral Filtering
  3. PHP使用支付宝SDK完成支付
  4. 下列关于python运算符的使用描述正确的是_以下关于 Python 字符串的描述中,正确的是( )...
  5. jbpm 历史查询笔记
  6. Tensorflow入门——自制数据集：将未经处理的图片制成npy格式的数据集
  7. 木子-后端-Spring配置时间触发器的方法
  8. IM开发干货分享：网易云信IM客户端的聊天消息全文检索技术实践
  9. jenkins邮件模板配置
  10. 关于 git pull 和 git pull origin develop 的区别