【NLP】文本关键词提取的两种方法-TFIDF和TextRank

2024-04-12 05:51:25

背景

前两天看到论文《Chinese Poetry Generation with Planning based Neural Network》中使用TextRank进行关键词提取。在阅读文章时也想到了除了TextRank之外，经常还使用TFIDF进行关键词提取。

一些算法的使用取决于业务场景和算法的特性。关键词提取是干什么的呢？关键词抽取的任务就是从一段给定的文本中自动抽取出若干有意义的词语或词组。 那么这个有意义的就会和算法的特性结合在一起了。

补充一句：这两种方案是无监督的，当然也可以使用分类的方式进行有监督的处理，本文不讨论关于有监督的关键词提取方法。

TFIDF

1.基本理论

TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。也就是说：一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数，在实际的任务中也可以是一个句子，需要结合具体的任务灵活变通。这个数字通常会被归一化，一般是词频除以文章总词数（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否）, 以防止它偏向长的文件。找到一篇文献，其中词频

【NLP】文本关键词提取的两种方法-TFIDF和TextRank相关推荐

中文文本关键词抽取的三种方法-python
利用Python实现中文文本关键词抽取的三种方法转自github 文本关键词抽取,是对文本信息进行高度凝练的一种有效手段,通过3-5个词语准确概括文本的主题,帮助读者快速理解文本信息.目前,用于文本 ...
基于Python实现中文文本关键词抽取的三种方法课程报告+项目源码及数据
资源下载地址:https://download.csdn.net/download/sheziqiong/85737856 资源下载地址:https://download.csdn.net/downl ...
中文文本关键词抽取的三种方法（TF-IDF、TextRank、word2vec）
链接地址:https://github.com/AimeeLee77/keyword_extraction 1.基于TF-IDF的文本关键词抽取方法词频(Term Frequency,TF) 指某一 ...
C# 根据文本设置combobox的两种方法
1.通过ComboBox.SelectedItem="文本" ComboBox.SelectedItem = "文本"; 2.通过ComboBox.FindSt ...
NLP：基于nltk和jieba库对文本实现提取文本摘要(两种方法实现：top_n_summary和mean_scored_summary)
NLP:基于nltk和jieba库对文本实现提取文本摘要(两种方法实现:top_n_summary和mean_scored_summary) 目录输出结果设计思路核心代码输出结果 1.测试文本 ...
NLP：两种方法(自定义函数和封装函数)实现提取两人对话内容(***分隔txt文档)，并各自保存为txt文档
NLP:两种方法(自定义函数和封装函数)实现提取两人对话内容(***分隔txt文档),并各自保存为txt文档目录问题探究实现代码问题探究实现代码 f=open("niu.txt&q ...
如何做好文本关键词提取？从三种算法说起
在自然语言处理领域,处理海量的文本文件最关键的是要把用户最关心的问题提取出来.而无论是对于长文本还是短文本,往往可以通过几个关键词窥探整个文本的主题思想.与此同时,不管是基于文本的推荐还是基于文本的搜 ...
提取pdf文件中文字的两种方法
如今,在我们的工作与学习中已经不是单单使用word.Excel等格式文件了,pdf格式的文件已经被广泛地运用到我们的办公室中.大家都知道pdf文件是不可直接编辑与修改的,使用起来有些不便.那么当我们需 ...
提取图片上文字的两种方法
目前我整理出两种方法: 第一种是利用onenote 插入照片-->点击图片右键,选择"复制图片中的文本"选项-->在当前onenote的空白处选择粘贴就好了(在其他地方 ...

最新文章

热门文章