信息检索——BM25算法实现（自己写）

代码套公式的时候，qi默认的是查询项。但是，在网上的一些代码中，计算结果有点不太一样呀。。。。

import mathimport jieba
import numpy as np
sents = []
sents.append("自然语言自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。")
sents.append("它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。")
sents.append("自然语言处理是一门融语言学、计算机科学、数学于一体的科学。")
sents.append("因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，")
sents.append("所以它与语言学的研究有着密切的联系，但又有重要的区别。")
sents.append("自然语言处理并不是一般地研究自然语言，")
sents.append("而在于研制能有效地实现自然语言通信的计算机系统，")
sents.append("特别是其中的软件系统。因而它是计算机科学的一部分。")query_list = ['自然语言', '计算机科学', '人工智能', '领域']   # 分词之后的list
class BM25:def __init__(self):self.idf={}self.f={}self.d=[]self.k1=1.5self.b= 0.75def tokenier(self,sents):tokens=[list(jieba.cut(s)) for s in sents]sdl=[len(i) for i in sents]aver=np.mean(sdl)self.d=[dl/aver for dl in sdl]return tokensdef idf_cal(self):#计算文档中包含了query的数目（n(qi))tokens=self.tokenier(sents)query_n={}#n(qi)#计算query在文档d中出现的频率——self.ffor query in query_list:query_n[query]=0self.f[query]={}for i,wlist in enumerate(tokens):self.f[query][i]=0if query in wlist:query_n[query]+=1self.f[query][i]=wlist.count(query)#计算IDF分数N=len(sents)for query in query_list:self.idf[query]=math.log(N-query_n[query]+0.5)-math.log(query_n[query]+0.5)return self.idf,self.fdef retrival(self):self.idf_cal()score=[]for i,sent in enumerate(sents):s=[]for q in query_list:v1=self.idf[q]v2=self.f[q][i]v3=self.d[i]s.append(v1*(v2*(self.k1+1)/(v2+self.k1*(1-self.b+self.b*v3))))score.append(np.sum(s))'''s=[self.idf[q]*((self.f[q][i](self.k1+1))/(self.f[q][i]+self.k1*(1-self.b+self.b*self.d[i]))) for q in query_list]score.append(np.sum(s))'''print(score)print(self.d)print(self.f)print(self.idf)BM25().retrival()

结果

Building prefix dict from D:\Anocada\lib\site-packages\jieba\dict.txt ...
Loading model from cache C:\Users\ASUS\AppData\Local\Temp\jieba.cache
Loading model cost 0.6411159038543701 seconds.
Prefix dict has been built succesfully.
[1.8632418568569213, -0.876616004612327, -0.49146313523763707, 0.0, 0.0, -1.5155913331365245, -1.013560838505477, 0.47126411006385116]
[1.2363636363636363, 1.2, 1.0545454545454545, 1.0545454545454545, 0.9818181818181818, 0.6909090909090909, 0.8727272727272727, 0.9090909090909091]
{'自然语言': {0: 2, 1: 1, 2: 1, 3: 1, 4: 0, 5: 2, 6: 1, 7: 0}, '计算机科学': {0: 1, 1: 0, 2: 1, 3: 0, 4: 0, 5: 0, 6: 0, 7: 1}, '人工智能': {0: 1, 1: 0, 2: 0, 3: 0, 4: 0, 5: 0, 6: 0, 7: 0}, '领域': {0: 2, 1: 0, 2: 0, 3: 1, 4: 0, 5: 0, 6: 0, 7: 0}}
{'自然语言': -0.9555114450274362, '计算机科学': 0.4519851237430572, '人工智能': 1.6094379124341003, '领域': 0.9555114450274362}

信息检索——BM25算法实现（自己写）相关推荐

如何使用BM25算法检索出最相关的序列
背景起因博主正在进行的科研应用到了in-context learning这个范式,与传统的学习范式不同,情境中学习并不是真的学习,即不改变模型的参数,称为in-context inference ...
OKapi BM25 算法
BM25(Best Match25)是在信息检索系统中根据提出的query对document进行评分的算法.It is based on the probabilistic retrieval fra ...
转 OKapi BM25 算法
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! BM25 ...
OKapi BM25算法
文章转自点击打开链接 BM25(Best Match25)是在信息检索系统中根据提出的query对document进行评分的算法.It is based on the probabilistic re ...
[转]OKapi BM25 算法
BM25(Best Match25)是在信息检索系统中根据提出的query对document进行评分的算法.It is based on the probabilistic retrieval fra ...
bm25算法Java代码_搜索引擎相关度算法 -BM25 JAVA实现
bm25 是一种用来评价搜索词和文档之间相关性的算法,它是一种基于概率检索模型提出的算法. 它的出现主要是解决TF-IDF算法中 TF的影响可无限增大的不足,本质上 BM25是基于TF-IDF并做了改 ...
bm25算法Java代码_BM25算法在Lucene中的应用
Lucene是apache软件基金会jakarta项目组的一个子项目,是一个用Java写的全文检索引擎工具包,可以方便的集成到系统中提以提供高效的检索能力,Lucene核心功能分为建索和检索两部分.而 ...
开根号的笔算算法图解_机器学习KNN算法之手写数字识别
1.算法简介手写数字识别是KNN算法一个特别经典的实例,其数据源获取方式有两种,一种是来自MNIST数据集,另一种是从UCI欧文大学机器学习存储库中下载,本文基于后者讲解该例. 基本思想就是利用KN ...
DL之NN/CNN：NN算法进阶优化(本地数据集50000张训练集图片)，六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率
DL之NN/CNN:NN算法进阶优化(本地数据集50000张训练集图片),六种不同优化算法实现手写数字图片识别逐步提高99.6%准确率目录设计思路设计代码设计思路设计代码 import mn ...

信息检索——BM25算法实现（自己写）

信息检索——BM25算法实现（自己写）相关推荐

最新文章

热门文章