论文阅读笔记《Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System》
面向即插即用任务的对话系统的多任务预训练
Abstract
预先训练的语言模型最近被证明有利于面向任务的对话（task-oriented dialogue，TOD）系统。尽管取得了成功，但现有方法通常将此任务描述为级联生成问题，这可能导致不同子任务之间的错误累积和更大的数据注释开销。在本研究中，我们提出了一个统一的即插即用任务导向对话模型PPTOD（plug-andplay model for task-oriented dialogue）。此外，我们引入了一种新的对话多任务预训练策略，允许模型从异构对话语料库中学习主要的TOD任务完成技能。我们在三个基准TOD任务上广泛地测试了我们的模型，包括端到端对话建模、对话状态跟踪和意图分类。实验结果表明，在高资源和低资源场景下，PPTOD在所有评估任务上都达到了新的境界。此外，与以前的SOTA方法的比较表明，PPTOD生成的响应更符合人类注释人员的判断，在语义上更一致。
论文阅读笔记《Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System》相关推荐
- 《Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs》论文阅读笔记
<Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs>论文阅读笔记 主要挑战贡献: KG上的推理挑战主要 ...
- 论文阅读 | NIPS‘20 | Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs
很有意思的一篇paper.在众多Knowledge Graph Embedding (KGE) 的论文中通过问题设计和有意思的解决方式脱颖而出. 首先来看看问题设计. 一般的KGE model都是利用 ...
- Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis论文阅读笔记（EMNLP2021）
目录 标题翻译:基于Beta分布引导方面感知图的方面类别情感分析 原文链接:https://aclanthology.org/2021.emnlp-main.19.pdf 摘要: 1 引言 2 相关工 ...
- Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration论文阅读笔记
问题: 因为bert是在长文本(512token长度)预训练的,因此,如果没有特定于任务的微调,BERT在短语和句子上的表现通常比简单基线(如GLoVe的平均池化)更差.且字节2020在EMNLP上的 ...
- DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记
DeepWeak: Reasoning Common Software Weaknesses via Knowledge Graph Embedding 阅读笔记 Article Background ...
- [论文阅读笔记] Are Meta-Paths Necessary, Revisiting Heterogeneous Graph Embeddings
[论文阅读笔记] Are Meta-Paths Necessary? Revisiting Heterogeneous Graph Embeddings 购物返利 www.cpa5.cn 本文结构 解 ...
- 论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）
这是一篇非常有趣的工作,看完会觉得眼前一亮. 论文标题:Reasoning on Knowledge Graphs with Debate Dynamics 发表于AAAI,2020 动机 很多机器 ...
- 论文阅读笔记——《a simple but tough-to-beat baseline for sentence embeddings》
<a simple but tough-to-beat baseline for sentence embeddings>published at ICLR 2017. ICLR会议的论文 ...
- Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction论文阅读笔记
我的博客链接 0. 前言 1. 作者试图解决什么问题? 作者想在KGE中对语义层级(semantic hierarchies)进行建模. 2. 这篇论文的关键元素是什么? semantic hiera ...
- 斯坦福图机器学习CS224W笔记自用: Reasoning in Knowledge Graphs using Embeddings
1. 基于嵌入的知识图推理 目标:如何对知识图进行多跳推理? 知识图推理: 回答多跳查询 路径查询 连接查询 Query2box 示例:生物医学图 知识图谱上的预测查询 我们是否可以进行多跳推理,即在 ...
最新文章
- 【六一儿童节】回忆一下“孩子们的游戏”！（码农版）
- 报错笔记：cannot convert parameter 1 from 'char [1024]' to 'unsigned char *'
- 蓝桥杯——机器人行走
- Revit二次开发“创建组遍历组Group”
- 小b和回文数（51Nod-2483）
- python 脚本_基于Python的ArcGIS脚本编程知识点总结
- 我的编程认知：多思考、多编码、多测试
- h5 宽度全屏自适应
- hadoop2.2完全分布式最新高可靠安装文档
- Ubuntu下使用苹果Monaco字体
- 计算方法实验一、秦九韶算法
- 【数据压缩】作业1：分析浊音清音爆破音的时域和频域特性以及RGB熵的计算
- 市场调研报告-全球与中国云产品生命周期管理（PLM）软件市场现状及未来发展趋势
- MySQL 中删除重复数据只保留一条
- 从内地或海外前往香港的步骤攻略（2023.2.更新）
- 百度AI语音SDK集成
- Open Images Dataset V6 简介
- 主线程和子线程下的事务不回滚【spring】
- 网络安全防御体系建设-防守实例
- java调用银海社保接口,银海医保接口调用演示程序