诸神缄默不语-个人CSDN博文目录

文章目录

1. 模型构造思路
2. Notation与模型介绍
- 2.1 Notation
- 2.2 CGSum
3. 详细的数学推导和证明
4. 实验结果
- 4.1 baseline
- 4.2 数据集
- 4.3 实验设置
- 4.4 实验结果
5. 代码实现和复现
- 5.1 论文官方实现
- 5.2 我自己写的复现

论文下载地址：2104.03057.pdf

代码：ChenxinAn-fdu/CGSum: code and dataset for AAAI 2021 paper: Enhancing Scientific Papers Summarization with Citation Graph

这篇是发在AAAI2021上的NLP领域的文章，使用了GNN的方法。因为我之前是学GNN的，所以这篇论文其实没太看懂，仅此记载概述。

1. 模型构造思路

本文的两大贡献在于：第一，发表了一个公开的文献引用数据集SSN，这个事情以后再说；第二，提出了一个结合引用与文本信息的文献摘要生成模型CGSum (citation graph-based summarization model)，本文仅简单介绍一下这个。
传统document summarization方法往往将任务构建为sequence-to-sequence problem，即通过文本生成摘要。
但实际上，文献之间的引用关系也对摘要生成任务有价值：文献的相关research community能帮助我们理解文献中的domain-specific terms。如下图举例，在原论文中只出现了专业术语，但在其引用的文献中出现了对术语的解释和类似语句的不同表示方式：

这个research community可以通过抽样出一个有source paper的subgraph得到。
模型将source paper的内容和subgraph的information分别encode，通过decoder得到abstract。神经网络模型使用的是BiLSTM和GNN。
评估指标用的是ROUGE credit method。

在本文中分别试验了transductive和inductive两种实验模式：

注意实验是将引用关系视为无向图进行的，但是抽取子图的时候是有边方向的（见模型介绍部分）。

2. Notation与模型介绍

2.1 Notation

略，待补。

2.2 CGSum

在理论上讲，作者要写摘要的时候，他肯定只能参考他引用的文章而非引用他的文章，所以在生成摘要任务中，要使用文献引用关系，也只能使用其reference而非citation。
所以在首先我们通过抽取子图生成一篇文献的research community（citation graph）时，对于某一节点（文献），我们生成一个它引用文献、引用文献再引用文献的图出来（这个图我一开始以为是树，后来想了一下，每一篇文献可能不只被research community中的一篇文献引用，所以不一定是树，反正就是一张有向图）。
建立citation graph的算法：

对每一个节点，我们利用其body text和citation graph中文献（不包括它自己）的abstract生成节点的abstract。

模型示意图如下：

source paper的body text和reference paper的abstract传入document encoder（BiLSTM），通过池化隐藏层表示向量初始化节点特征，根据节点之间的salience score对邻居进行抽样

由于什么直接抽样会打断 f f f 中参数的训练的原因（为啥？因为没梯度可算了吗？）所以参考 Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward.，将 s s s 视为information gate）：

将图输入graph encoder（2层GAT，并在层间添加residual connections）。

将encoder得到的表示向量通过decoder（single-layer unidirectional LSTM）得到结果，两个encoder都对decoder有attention机制。
模型结果用ROUGE credit method进行评估。

其他略，有缘补。

3. 详细的数学推导和证明

略，待补。

4. 实验结果

4.1 baseline

略，待补。

4.2 数据集

略，待补。

4.3 实验设置

略，待补。

4.4 实验结果

略，待补。

5. 代码实现和复现

5.1 论文官方实现

虽然使用的DGL和FastNLP等包我没用过，但是看起来还是意外比较清晰的一个代码结构。学了之后应该可以过来看一下。

5.2 我自己写的复现

还没写，待补。

Re4：读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph相关推荐

Re2：读论文 CS-GNN Measuring and Improving the Use of Graph Information in Graph Neural Networks
诸神缄默不语-个人CSDN博文目录论文下载地址:https://openreview.net/attachment?id=rkeIIkHKvS&name=original_pdf 代码:yi ...
Read research papers and career advice | 怎么读论文/职场建议
视频链接:Stanford CS230: Deep Learning | Autumn 2018 | Lecture 8 - Career Advice / Reading Research Pape ...
Re23：读论文 How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence
诸神缄默不语-个人CSDN博文目录论文名称:How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence ...
如何高效读论文？剑桥CS教授亲授“三遍论”：论文最多读三遍，有的放矢，步步深入...
鱼羊编译整理量子位报道 | 公众号 QbitAI 嗑盐之始,在于读论文. 一方面,把握最前沿的研究动态,激发自身研究灵感.另一方面,不做好文献调研,自己的绝妙想法变成了重复造轮子,这种体验可不太 ...
如何高效读论文？剑桥CS教授亲授“三遍论”
点击上方"深度学习技术前沿",选择"星标"公众号资源干货,第一时间送达转载自量子位科研始于读论文,终于发表论文! 读论文,一方面,把握最前沿的研究动态,激 ...
【读论文-笔记】——1.沐神读Alexnet
本文是看沐神阅读Alexnet的文章.原文链接如下: https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-A ...
吴恩达dalao教你如何读论文（翻译）
Andrew Ng dalao教你读论文前言声明谁是Andrew Ng?(吴恩达) (如果你不知道的话) 如何去读Researching Papers? 1.搜集相关资源 2.深入研究资源 3.自 ...
【How to read a paper】如何读论文
如何阅读科研论文 2013/09/11 | 分类: 职场分享 | 0 条评论 | 标签: 论文分享到:11 本文由伯乐在线 - 乾龙翻译自 S. Keshav.转载请参见文章末尾处的要求. (感 ...
我的读论文经验总结！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:胡来,Datawhale成员从入门到精通一个领域,绕不开文献阅读 ...

Re4：读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph

文章目录

1. 模型构造思路

2. Notation与模型介绍

2.1 Notation

2.2 CGSum

3. 详细的数学推导和证明

4. 实验结果

4.1 baseline

4.2 数据集

4.3 实验设置

4.4 实验结果

5. 代码实现和复现

5.1 论文官方实现

5.2 我自己写的复现

Re4：读论文 CGSum: Enhancing Scientific Papers Summarization with Citation Graph相关推荐

最新文章

热门文章