关键词提取算法之RAKE

RAKE(Rapid Automatic Keyword Extraction)算法，作者Alyona Medelyan，她的GitHub上有很多关键字提取的项目。

RAKE算法的亮点在于“R” : Rapid , 快速却能取得很不错的效果。

作者的思路大致是：
1）.分词。在提取英文关键词中，给定一篇英文文档，以标点符号及停用词作为分词标准；
2）.共现矩阵。构建共现矩阵;
3）.特征提取。包含词频freq、度deg 以及度与频率之比 deg/freq 三个特征;
4）.定义score。score = deg/freq
5）.降序输出。按score大小降序输出1/3文档词汇量的关键词。

其中，提取特征后有个特殊处理，对于相邻的关键词，如果满足同一文档和相同顺序中至少两次相邻，则进行合并，成为新的候选关键词后，score 定义为合并前的候选关键词score之和。这样操作的原因是，这些相邻候选关键词相对较少，简单对score相加，增加了它们的重要性。

引用原论文的栗子：

分词后

共现矩阵

提取特征

降序输出

从上面的思路可以看到，RAKE算法
1）.算法简单而高效；
2）.提取的关键词并不是单一的单词，也有可能是短语，能够提取一些较长的专业术语；

遗憾的是，在处理中文文本中，中文使用停用词来划分短语的效果远不及英文，一句话根本分不了几个关键词，几乎全部粘连在一起，因此效果不好。

原始的RAKE的GitHub地址：
https://github.com/zelandiya/RAKE-tutorial
论文链接下载：
https://www.researchgate.net/profile/Stuart_Rose/publication/227988510_Automatic_Keyword_Extraction_from_Individual_Documents/links/59edf51fa6fdccbbefd5434a/Automatic-Keyword-Extraction-from-Individual-Documents.pdf

关键词提取算法之RAKE相关推荐

短文本关键词提取算法RAKE TextRank及改进
最近做的一个项目是短文本关键词提取(twitter, linkedin post),这里主要用到了两个算法,一个是TextRank, 一个是RAKE,总的来说,这两个算法思路上差别很大,但对于短文本的 ...
KeyBert、TextRank等九种本文关键词提取算法（KPE）原理及代码实现
关键词提取 (Keyphrase Extraction,KPE) 任务可以自动提取文档中能够概括核心内容的短语,有利于下游信息检索和 NLP 任务.当前,由于对文档进行标注需要耗费大量资源且缺乏大规模 ...
基于TextRank的关键词提取算法
基于TextRank的关键词提取算法前沿 TextRank是一种文本排序算法,是基于著名的网页排序算法PageRank改动而来.在介绍TextRank前,我们先简单介绍下什么是PageRank.另外 ...
关键词提取算法—TF/IDF算法
关键词提取算法一般可分为有监督学习和无监督学习两类. 有监督的关键词提取方法可以通过分类的方式进行,通过构建一个较为完善的词表,然后判断每个文档与词表中的每个词的匹配程度,以类似打标签的方式,达到关键 ...
关键词提取算法TextRank
很久以前,我用过TFIDF做过行业关键词提取.TFIDF仅仅从词的统计信息出发,而没有充分考虑词之间的语义信息.现在本文将介绍一种考虑了相邻词的语义关系.基于图排序的关键词提取算法TextRank. ...
广告行业中那些趣事系列60：详解超好用的无监督关键词提取算法Keybert
导读:本文是"数据拾光者"专栏的第六十篇文章,这个系列将介绍在广告行业中自然语言处理和推荐系统实践.本篇从理论到实践介绍了超好用的无监督关键词提取算法Keybert,对于希望使用无 ...
java 文本分析关键词提取_文本关键词提取算法总结
1.TF-IDF 昨天给大家演示简单的文本聚类,但要给每个聚类再提取一两个关键词用于表示该聚类.我们还是用TFIDF算法来做,因为这是比较简单的提取特征算法,不过这里的TF是指某词在本聚类内所有文章的 ...
TextRank关键词提取算法
参考:百度AI Studio课程_学习成就梦想,AI遇见未来_AI课程 - 百度AI Studio - 人工智能学习与实训社区 (baidu.com) 1.关键词提取算法分类 1.有监督将关键词提取 ...
自然语言处理TF-IDF关键词提取算法
1.关键词提取简介关键词是指能反映文本主题或者主要内容的词语.关键词提取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来,是NLP领域的一个重要的子任务.在信息检索中,准确的关键词提取可以大幅提 ...

关键词提取算法之RAKE

关键词提取算法之RAKE

关键词提取算法之RAKE相关推荐

最新文章

热门文章