bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要

BERT论文系列导读

导读

文本摘要主要分为抽取式文本摘要和生成式文本摘要，抽取式文本摘要因为发展的时间比较长，因此在工业界应用的范围比较广。比较常用的抽取式文本摘要的算法就是Textrank，但是呢，本文要介绍一篇和BERT相关的抽取式摘要的模型。当然作为对比，本文也介绍了另一篇文章，结合了Textrank和BERT的模型，希望对大家有所启发。

Bert With Summarization

首先介绍一下模型的结构，原始的BERT的输出是针对Token而不是句子的，而且原始BERT的输入只有两个句子，并不适合文本摘要。

因此首先作者对BERT的结构做了一些更改，让他变得更适合文本摘要这个任务，作者的更改可以在下图体现到：作者使用[CLS]和[SEP]区分每一个句子，在原始的BERT中[CLS]表示一整个句子或者句子对的内容，在这里作者修改了模型结构，使用[CLS]来区分每一个句子

作者对每一个句子增加了segment embedding，segment embedding由句子的奇偶顺序决定，例如对于句子[sen1, sen2, sen3, sen4, sen5]他们的segment embedding就是[EA, EB, EA, EB, EA]。

Summarization layer

得到了句子的向量之后，接下来要做的工作就是判断这句话是否要组成文本的摘要。这就是一个二分类的工作了，作者尝试了三种summarization layer，分别是传统的全连接层

Inter-sentence Transformer

结构如下图所示，初始位置的句子向量为position embedding，之后每一个位置的输入都是由上一个位置的输入经过多头Attention层，layer norm和全连接层之后的输出结果。最后的输出依然是一个二分类。RNN层

这里是在BERT之后接了LSTM层，LSTM是非常适合NLP任务的一种结构，当然最后输出也是一个二分类的结果。

实验结果

作者在CNN Daily和NYT两个公开数据集上进行了实验，实验效果如下图所示，其中Lead是抽取文本的前三句话作为摘要

REFRESH是优化了ROUGE矩阵的抽取式文本摘要系统

NEUSUM是抽取式文本摘要的state-of-art的效果

PGN是Pointer Generator，生成式文本摘要

DCA是当前生成式文本摘要的state-of-art的效果

结论：抽取式文本摘要的效果优于生成式(甚至PGN的效果不如规则？)这一点我保持怀疑。BERT+Transformer的效果超过了目前抽取式模型的SOTA效果。

缺点：RNN是一层的和多层Transformer对比不太合理

实验结果显示生成式模型的效果还差于规则的结果，这点保持怀疑

没有解释对于过长的文本的是怎么处理的

推荐资料

这里给大家推荐另一篇论文——Sentence Centrality Revisited for Unsupervised Summarization。本文结合了Bert和Textrank算法，使用微调Bert作为Sentence encoder，来计算文本之间的相似度。最后的效果也是超过了SOAT的效果。

下面是提问和思考环节两篇文章对BERT的使用有什么区别

PACSUM对BERT做了怎么样的微调

bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要相关推荐

使用BERT做中文文本相似度计算与文本分类
转载请注明出处,原文地址: https://terrifyzhao.github.io/2018/11/29/使用BERT做中文文本相似度计算.html 简介最近Google推出了NLP大杀器BER ...
尝试用bert做文本聚类
尝试用bert做文本聚类以前文本聚类多以TF-IDF构建词权重的方法进行,在本文中尝试用bert提取的向量做文本聚类.对于bert模型,尝试提取不同层的特征,尝试对bert做fun-tune,观察相 ...
如何用最强模型BERT做NLP迁移学习？
作者 | 台湾大学网红教授李宏毅的三名爱徒来源 | 井森堡,不定期更新机器学习技术文并附上质量佳且可读性高的代码. 编辑 | Jane 谷歌此前发布的NLP模型BERT,在知乎.Reddit上都引起 ...
成本砍砍砍！不用数据也能用 BERT 做对比学习？
文 | 小昌编 | 小戏来自 | 夕小瑶的卖萌屋大家好,我是小昌,今天和大家聊一聊如何从 BERT 中获取好的句子表征. 大家都知道,BERT 的设计初衷是为了获得更好的单词表征.但是,利用 B ...
bert 中文代码谷歌_如何用最强模型BERT做NLP迁移学习？
作者 | 台湾大学网红教授李宏毅的三名爱徒来源 | 井森堡,不定期更新机器学习技术文并附上质量佳且可读性高的代码. 编辑 | Jane 谷歌此前发布的NLP模型BERT,在知乎.Reddit上都引起 ...
如何使用bert做word embedding
调研目的:如何使用第三方库快速对数据进行预训练,得到embedding 知乎一: 请问如何用nlp预训练模型做word embedding ,如bert怎么提取出embedding? 作者(香港大学 ...
bert做语义相似度文章的注解
之前查找bert做语义相似度资料时使用了一个博主的代码,原文:https://blog.csdn.net/u012526436/article/details/84637834 网上如何做fine-t ...
python nlp文本摘要实现_用TextRank算法实现自动文本摘要
[51CTO.com快译]1. 引言文本摘要是自然语言处理(NLP)领域中的应用之一,它必将对我们的生活产生巨大影响.随着数字媒体和出版业的不断发展,谁还有时间浏览整篇文章/文档/书籍来决定它们是 ...
bert下游_原来你是这样的BERT，i了i了！ —— 超详细BERT介绍（三）BERT下游任务...
原来你是这样的BERT,i了i了! -- 超详细BERT介绍(三)BERT下游任务 BERT(Bidirectional Encoder Representations from Transforme ...

bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要

bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要相关推荐

最新文章

热门文章