【论文阅读】Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation | EMNLP 2022
文章链接

目录标题

前言
Method
- 用的什么模型
- 评价模型生成知识的质量
- Noisy Training
实验

前言

直接在原始文本上进行学习的预训练语言模型近几年取得了重大进展，这类大模型能否作为数据库用于下游任务呢？本文在无监督知识对话上探究了上述问题。
没太搞明白这篇文章的贡献在哪里，从知识的生成方法来看用的是前人的模型。可能是结合知识回答问题，解决事实幻觉（Hallucination）这里的贡献？有时间了再看一下。

Method

用的什么模型

给定对话历史，生成相关知识。用了两种微调方法，分别是传统的Fine-Tuning和Prefix-Tuning。后者可以避免灾难性遗忘，或许对知识对话有帮助。
考虑了两类大模型，Pre-trained Language Models (PLMs) 和 Pre-trained Dialogue Models (PDMs)。本文从两类中各挑了一个代表性方法，分别是T5和DialoGPT。

评价模型生成知识的质量

人工评价，设定了很多标准。从对问题的理解、回答是否可验证、答案是否正确三方面打分。

Noisy Training

To do

实验

【论文阅读】EMNLP2022 知识对话系统相关推荐

论文阅读：知识图谱技术综述
知识图谱技术综述徐增林1,盛泳潘1,贺丽荣1,王雅芳2 目前,随着智能信息服务应用的不断发展,知识图谱已被广泛应用于智能搜索.智能问答.个性化推荐等领域.尤其是在智能搜索中,用户的搜索请求不再局限于 ...
《论文阅读》开放域对话摘要（长文本|知识嵌入）
<论文阅读>开放域对话摘要(长文本|知识嵌入) 前言相关知识文本摘要对话摘要 Mind the Gap! Injecting Commonsense Knowledge for Ab ...
《论文阅读》任务型对话系统——面向角色的对话摘要
<论文阅读>任务型对话系统--面向角色的对话摘要前言文本摘要对话摘要 Other Roles Matter! Enhancing Role-Oriented Dialogue Sum ...
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
论文阅读:Knowledge Distillation: A Survey 知识蒸馏综述2021 目录摘要 Introduction Background 知识基于响应的知识基于特征的知识基于 ...
知识图谱论文阅读（十五）【arxiv】A Survey on Knowledge Graph-Based Recommender Systems
论文题目: A Survey on Knowledge Graph-Based Recommender Systems 论文链接: 论文代码: 想法出现Refine就是用某些方法更好的优化特征表示 ...
论文阅读：Natural Language Processing Advancements By Deep Learning: A Survey
文章目录一.介绍二.背景 1.人工智能和深度学习 (1)多层感知机 (2)卷积神经网络 (3)循环神经网络 (4)自编码器 (5)生成对抗网络 2.NLP中深度学习的动机三.NLP领域的核心概念 ...
论文阅读：Natural Language Processing Advancements By Deep Learning: A Survey 深度学习在自然语言处理中的进展
Natural Language Processing Advancements By Deep Learning: A Survey 深度学习在自然语言处理中的进展目录 Natural Langu ...
Towards Facilitating Empathic Conversations in Online Mental Health Support 论文阅读笔记（一）
Towards Facilitating Empathic Conversations in Online Mental Health Support 论文阅读笔记(一) 文章目录 Towards F ...
论文阅读工具ReadPaper
对于搞科研的同学们来说,看论文是要经历的第一关,尤其是要读好多篇论文的时候,更是着实令人头大. 这不,最近无意中发现了个在线论文阅读网站:readpaper.com,号称「论文阅读笔记神器,硕博科研学 ...

【论文阅读】EMNLP2022 知识对话系统