TFIDF之python实现

TFIDF介绍
现在有一篇长文《中国的蜜蜂养殖》，用计算机提取它的关键词。

1、词频：如果某个词很重要，它应该在这篇文章中多次出现。我们进行"词频"（Term Frequency，缩写为TF）统计。

2、停用词：结果你肯定猜到了，出现次数最多的词是----“的”、“是”、“在”----这一类最常用的词。它们叫做"停用词"（stop words），表示对找到结果毫无帮助、必须过滤掉的词。

3、IDF :最常见的词（“的”、“是”、“在”）给予最小的权重，

较常见的词（“中国”）给予较小的权重，

较少见的词（“蜜蜂”、“养殖”）给予较大的权重。

这个权重叫做"逆文档频率"（Inverse Document Frequency，缩写为IDF），

它的大小与一个词的常见程度成反比。

4、TF-IDF：“词频”（TF）和"逆文档频率"（IDF）以后，两个值相乘，得到了一个词的TF-IDF值。

某个词对文章的重要性越高，它的TF-IDF值就越大。

所以，排在最前面的几个词，就是这篇文章的关键词。

如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。发现"中国"、“蜜蜂”、"养殖"这三个词的出现次数一样多，因为"中国"是很常见的词，相对而言，"蜜蜂"和"养殖"不那么常见，“蜜蜂"和"养殖"的重要程度要大于"中国”。

具体实现：

1、计算词频

词频（TF） = 某个词在文章中的出现次数，文章有长短之分，为了便于不同文章的比较,做"词频"标准化。

词频（TF） = 某个词在文章中的出现次数 / 文章总词数

或者词频（TF） = 某个词在文章中的出现次数 / 拥有最高词频的词的次数

2、某个词在文章中的出现次数

这时，需要一个语料库（corpus），用来模拟语言的使用环境。

逆文档频率（IDF） = log（语料库的文档总数/包含该词的文档总数+1）

3、计算TF-IDF

TF-IDF = 词频（TF) * 逆文档频率（IDF）

可以看到，TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。

所以，自动提取关键词的算法就是计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。

从上表可见，"蜜蜂"的TF-IDF值最高，"养殖"其次，"中国"最低。（如果还计算"的"字的TF-IDF，那将是一个极其接近0的值。）

所以，如果只选择一个词，"蜜蜂"就是这篇文章的关键词。

import os
import codecs
import math
import operatordef fun(filepath):  # 遍历文件夹中的所有文件，返回文件list
arr = []
for root, dirs, files in os.walk(filepath):for fn in files:file_suffix=os.path.splitext(fn)[1]if file_suffix in ['.txt','xlsx']:arr.append(root+"\\"+fn)
return arrdef wry(txt, path):  # 写入txt文件
with open(path, 'w') as f:f.write(txt)  # 文件的写操作# f = codecs.open(path, 'a')
# f.write(txt)
# f.close()
return pathdef read(path):  # 读取txt文件，并返回list
with open(path,encoding = "utf-8") as f:# data = pd.read_csv(f)  # 文件的读操作data = f.readlines()# f = open(path, 'rb')
# data = []
# for line in f.readlines():
#     data.append(line)
return datadef toword(txtlis):  # 将一片文章按照‘/’切割成词表，返回list
wordlist = []
alltxt = ''
for i in txtlis:alltxt = alltxt+str(i)
ridenter = alltxt.replace('\n', '')
wordlist = ridenter.split('/')
return wordlistdef getstopword(path):  # 获取停用词表
swlis = []
for i in read(path):outsw = str(i).replace('\n', '')swlis.append(outsw)
return swlisdef getridofsw(lis, swlist):  # 去除文章中的停用词
afterswlis = []
for i in lis:if str(i) in swlist:continueelse:afterswlis.append(str(i))
return afterswlisdef freqword(wordlis):  # 统计词频，并返回字典
freword = {}
for i in wordlis:if str(i) in freword:count = freword[str(i)]freword[str(i)] = count+1else:freword[str(i)] = 1
return freworddef corpus(filelist, swlist):  # 建立语料库
alllist = []
for i in filelist:afterswlis = getridofsw(toword(read(str(i))), swlist)alllist.append(afterswlis)
return alllistdef wordinfilecount(word, corpuslist):  # 查出包含该词的文档数
count = 0  # 计数器
for i in corpuslist:for j in i:if word in set(j):  # 只要文档出现该词，这计数器加1，所以这里用集合count = count+1else:continue
return countdef tf_idf(wordlis, filelist, corpuslist):  # 计算TF-IDF,并返回字典
outdic = {}
tf = 0
idf = 0
dic = freqword(wordlis)
outlis = []
for i in set(wordlis):tf = dic[str(i)]/len(wordlis)  # 计算TF：某个词在文章中出现的次数/文章总词数# 计算IDF：log(语料库的文档总数/(包含该词的文档数+1))idf = math.log(len(filelist)/(wordinfilecount(str(i), corpuslist)+1))tfidf = tf*idf  # 计算TF-IDFoutdic[str(i)] = tfidf
orderdic = sorted(outdic.items(), key=operator.itemgetter(1), reverse=True)  # 给字典排序
return orderdicdef befwry(lis):  # 写入预处理，将list转为string
outall = ''
for i in lis:ech = str(i).replace("('", '').replace("',", '\t').replace(')', '')outall = outall+'\t'+ech+'\n'
return outalldef main():
swpath = r'cn_stopwords.txt'#停用词表路径
swlist = getstopword(swpath)  # 获取停用词表列表# path = r'..\bk'
filepath = r'..\bk'
filelist = fun(filepath)  # 获取文件列表
print(filelist)wrypath = r'TFIDF.txt'corpuslist = corpus(filelist, swlist)  # 建立语料库outall = ''for i in filelist:afterswlis = getridofsw(toword(read(str(i))), swlist)  # 获取每一篇已经去除停用的词表tfidfdic = tf_idf(afterswlis, filelist, corpuslist)  # 计算TF-IDFprint(tfidfdic,'TF-IDF')titleary = str(i).split('\\')title = str(titleary[-1]).replace('utf8.txt', '')echout = title+'\n'+befwry(tfidfdic)print(title+' is ok!')outall = outall+echout
print(wry(outall, wrypath)+' is ok!')if __name__ == '__main__':
main()

总结：

TF-IDF算法的优点是简单快速，结果比较符合实际情况。

缺点是，单纯以"词频"衡量一个词的重要性，不够全面，有时重要的词可能出现次数并不多。

而且，这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。（一种解决方法是，对全文的第一段和每一段的第一句话，给予较大的权重。）

TF-IDF与与余弦相似的应用：找相似文章

除了找到关键词，还希望找到与原文章相似的其他文章

需要用到余弦相似性：

句子A：我喜欢看电视，不喜欢看电影

句子B：我不喜欢看电视，也不喜欢看电影

基本思路是：如果这两句话的用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。

1、分词

句子A：我/喜欢/看/电视，不/喜欢/看/电影。

句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。

2、列出所有值

我，喜欢，看，电视，电影，不，也。

3、计算词频

句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0。

句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1

4、写出词频向量。

句子A：[1, 2, 2, 1, 1, 1, 0]

句子B：[1, 2, 2, 1, 1, 2, 1]

我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似。假定a向量是[x1, y1]，b向量是[x2, y2]，那么可以将余弦定理改写成下面的形式

结论：

我们就得到了"找出相似文章"的一种算法：

使用TF-IDF算法，找出两篇文章的关键词
每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）；
生成两篇文章各自的词频向量
计算两个向量的余弦相似度，值越大就表示越相似

计算两个向量的余弦相似度，值越大就表示越相似

如何通过词频，对文章进行自动摘要

信息都包含在句子中，有些句子包含的信息多，有些句子包含的信息少。"自动摘要"就是要找出那些包含信息最多的句子。

句子的信息量用"关键词"来衡量。如果包含的关键词越多，就说明这个句子越重要。

Luhn提出用"簇"（cluster）表示关键词的聚集。所谓"簇"就是包含多个关键词的句子片段。

只要关键词之间的距离小于"门槛值"，它们就被认为处于同一个簇之中。Luhn建议的门槛值是4或5。也就是说，如果两个关键词之间有5个以上的其他词，就可以把这两个关键词分在两个簇。

簇的重要性 = (包含的关键词数量)^2 / 簇的长度。其中的簇一共有7个词，其中4个是关键词。因此，它的重要性分值等于 ( 4 x 4 ) / 7 = 2.3。

然后，找出包含分值最高的簇的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要
原文：TFIDF介绍

TFIDF之python实现相关推荐

python 文本相似度现状_python文本相似度分析
如何用python计算文本的相似度同学欢迎来到CSS布局HTML~文本的相似度计算是NLP(自然语言处理)方向的范畴,感兴趣可以找相关的书籍详细学习研究.同学问的这个问题,可以搜索:python文本 ...
词向量之TF-IDF模型详解
目录 0 前言 1 TF-IDF模型 1.1 TF-IDF数学形式 1.2 举例 2 TF-IDF的实现 2.1 TF-IDF简单python实现 2.2 TF-IDF的gesim实现: 2.3 TF ...
python 使用jieba.analyse提取句子级的关键字
安装所需要的库 jieba(pip install jieba) 方法参数解释 jieba.analyse.extract_tags(sentence, topK=5, withWeight=True ...
感谢十二年的陪伴——分享回归，不忘初心（Eastmount博客总结及未来规划）
曾记否,2021年4月28日,为了更好地从事科研和学习,当时给所有读者群发了我在CSDN唯一的私信,感谢大家十年的陪伴,短暂消失,不负青春.当时也收到了很多博友的鼓励与祝福,感恩. 是啊!很难想象读博 ...
机器学习之朴素贝叶斯算法
作者:RayChiu_Labloy 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处目录贝叶斯公式与朴素贝叶斯算法贝叶斯公式推导用机器学习的视角理解贝叶斯公式 NB ...
【机器学习】集成学习方法，从入门到使用
集成学习方法(组合分类器):https://www.jianshu.com/p/9fd41cf472b1 讲得详细.其中的代码通俗易懂,只有几行就说清了组合分类器. sklearn集成方法:https ...
数据挖掘基础-1.文本相似度
一.文本相似度相似度度量指的是计算个体间相似程度,一般使用距离来度量,相似度值越小,距离越大,相似度值越大,距离越小.在说明文本相似度概念和计算方式之前,先回顾下余弦相似度. 1.余弦相似度衡量文 ...
python计算tfidf sklearn计算
利用python 计算文档的tfidf,步骤大概如下: 读入文档,对文档进行分词,每一段为一个字符串,分词用空格隔开,读入文档是一个长度为该文档段数的列表. 利用vectorizer生成词频矩阵X , ...
python如何打开txt文件、并算词频_python TF-IDF词频算法实现文本关键词提取代码...
TF(Term Frequency)词频,在文章中出现次数最多的词,然而文章中出现次数较多的词并不一定就是关键词,比如常见的对文章本身并没有多大意义的停用词.所以我们需要一个重要性调整系数来衡量一个词 ...
短文本分析----基于python的TF-IDF特征词标签自动化提取
绪论最近做课题,需要分析短文本的标签,在短时间内学习了自然语言处理,社会标签推荐等非常时髦的技术.我们的需求非常类似于从大量短文本中获取关键词(融合社会标签和时间属性)进行用户画像.这一切的基础就是 ...

TFIDF之python实现

TFIDF之python实现相关推荐

最新文章

热门文章