用的是卷积解码器，和已知的经典RNN的seq2seq是不同的，有更好的内容覆盖率

一、定义

导言

文档被组织成主题连贯的文本片段，在讨论的内容方面表现出特定的结构

某些主题可能以特定的顺序进行讨论

(比如描述物种的顺序一般是：类型、发现的地区、栖息地)

任务

和18年WikiSum一样

二、模型

我们的模型由一个结构化的译码器组成，它被训练来预测一系列应该在摘要中讨论的句子主题，并基于这些主题生成句子。

encoder: CNN
decoder:
- document-level decoder first generates sentence vectors (LSTM)
  - 每一个时间步t，根据 $h_{t-1}$ 和 $s_{t-1}$ 用LSTM生成隐状态向量 $h_{t}$ ，通过注意力层输出代表句子的序列向量 $s_{t}$
- sentence-level decoder is then applied to generate an actual sentence token-by-token(CNN)
  - 这个CNN融合了embedding
  - 将每个目标词 $y_{ti}$ 的词表示 $w_{ti}$ 与表示该词在句子中的位置的向量 $e_i$ 组合， $w_{ti}= emb(y_{ti}) + e_i$

主题模型

为了使得the document-level decoder 更加 topic-aware，

把每个句子看做一个文档，并利用LDA模型分析其中隐含的主题列表K，并训练了一个分类器为每一个句子打上最可能的主题标签

(分配的标签貌似是来自句子里的一些关键词)

三、实验

作者用的是自己构造的数据集WIKICATSUM实验，结果如下

自动评价

结构化译码器使ROUGE-1 (R1)有了很大的改进
使用主题标签(+T)的变体平均提高了+2分
有些领域可以作者的模型超过谷歌的Transformer sequence-to-sequence 模型，有些不行

人工评价

每个文章问几个问题，读者读完摘要后能否回答这些问题
- (评价摘要是否保留了输入段落中的重要信息)
问3个问题，评估总结的总体内容和语言质量
- (Content、Fluency、Succinctness)

四、疑惑

Wikipedia lead section是什么？在维基百科里对应哪部分？

答：

查了一下，应该是在内容表之前的简介部分

sentence-level decoder 是怎么用CNN通过注意机制引入的？

这个得读一下作者引用的CNN-att论文orz

Generating Summaries with Topic Templates and Structured Convolutional Decoders笔记相关推荐

Structured Streaming学习笔记
Structured Streaming学习笔记一,编程模型二,创建streaming Dataset和Dataframe 三,操作streaming Dataset和Dataframe 3.1 ...
2018 A Sparse Topic Model for Extracting Aspect-Specific Summaries from Online Reviews 稀疏主题模型学习笔记
论文来源文章介绍模型及推理关于源码论文来源 Rakesh V, Ding W, Ahuja A, et al. A Sparse Topic Model for Extracting Aspe ...
Deformable Convolutional Networks笔记
目录 1. Introduction 2. Deformable Convolutional Networks Deformable Convolution Deformable RoI Poolin ...
Striving For Simplicity-the All Convolutional Net 笔记
链接 https://arxiv.org/abs/1412.6806 摘要大多数执行目标检测任务的卷积神经网络架构基本都遵循 ( L a y e r c o n v − L a y e r m a ...
《PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving》学习笔记
摘要作者在自动驾驶的场景下提出了一种生成真实世界的对抗样本的方法.作者没有使用传统的DNN分类器作为目标模型而是使用了一些自动驾驶中的导航模型,作者采用的攻击方法的效果应该没有adversarial ...
ACL2019代码开源论文
来自: GitHub yizhen20133868 WeChat Subscription 程序员遇见GitHub #### Incremental Transformer with Delibera ...
主题论文总结1：structured text summarization（持续更新ing...）
诸神缄默不语-个人CSDN博文目录最近更新时间:2022.6.4 最早更新时间:2022.5.16 文章目录 1. 对structured text summarization这一概念的定义 2. ...
万字长文概览深度学习的可解释性研究
↑ 点击蓝字关注视学算法作者丨王小贱@知乎来源丨https://www.zhihu.com/column/buaabigcity 编辑丨极市平台本文仅用于学术分享,如有侵权,请联系后台作删文处 ...
开源基于PyTorch深度学习框架实现图卷积
开源代码参考:学习与优化 Graph Convolutional Networks paper -> paper link -> github Distilling Knowledge F ...

Generating Summaries with Topic Templates and Structured Convolutional Decoders笔记