隐性语义索引(LSI)

1.Introduction

在向量模型中，将查询和文档均表示成同一空间下的向量，可以使用余弦相似度进行评分计算。但是，向量空间表示方法没有能力处理自然语言理解中的两个经典问题：一词多义（polysemy）和一义多词（synonymy）。使用LSI可以利用词项的共现情况，将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度。

2.SVD分解

文档集可以转换成词项-文档矩阵，每一行代表一个词项，每一列代表一个文档，矩阵元素(t,d)代表词项t在文档d中出现的次数。将词项-文档矩

隐性语义索引(LSI)相关推荐

潜在语义索引(LSI)
前言在文本挖掘中,主题模型是比较特殊的一块,它的思想不同于我们常用的机器学习算法,因此这里我们需要专门来总结文本主题模型的算法.本文关注于潜在语义索引算法(LSI)的原理. 潜在语义索引(LSI ...
潜在语义索引SEO，网站关键词挖掘工具
搜索引擎优化鼓励我们为用户提供有实际价值的内容.通过关键字挖掘,我们可以通过下拉词和相关词潜在语义索引挖掘出源源不断的实时热门词汇,让我们网站的文章更新和关键词排名变得更为容易. 关键字的重要性每个 ...
LSI（潜在语义索引）主题建模简介
一.潜在语义索引(Latent Semantic Indexing,以下简称LSI) (一)简介有的文章也叫Latent Semantic Analysis(LSA).在这里我称做LSI,它是一种简 ...
双塔模型-语义索引策略 [In-batch Negatives]
背景介绍语义索引(可通俗理解为向量索引)技术是搜索引擎.推荐系统.广告系统在召回阶段的核心技术之一.语义索引模型的目标是:给定输入文本,模型可以从海量候选召回库中快速.准确地召回一批语义相关文本.语 ...
面向大规模图像检索的层次语义索引
Hierarchical Semantic Indexing for Large Scale Image Retrieval 目录摘要 1 介绍 Introduction 2 相关工作 Relate ...
语义检索系统【二】：基于无监督训练SimCSE+In-batch Negatives策略有监督训练的语义索引召回
搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排).系统架构.常见问题.算法项目实战总结.技术细节以及项目实战(含码源) 专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排 ...
语义检索系统【一】：基于无监督预训练语义索引召回：SimCSE、Diffcse
搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排).系统架构.常见问题.算法项目实战总结.技术细节以及项目实战(含码源) 专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排 ...
SVDchapter14 机器学习之利用SVD简化数据
餐馆可划分为很多类别,比如美式.中式.日式.牛排馆.素食店,等等.你是否想过这些类别够用吗?或许人们喜欢这些的混合类别,或者类似中式素食店那样的子类别.如何才能知道到底有多少类餐馆呢?我们也许可以 ...
知识图谱2-知识表示
知识表示的重要性知识是智能的基础机器可以获得知识机器可以运用知识符合计算机要求的知识模式计算机能存储处理的知识表示模式数据结构 ER模型+Sql与RDF模型+SPARQL对比关系模型关 ...

隐性语义索引(LSI)

隐性语义索引(LSI)相关推荐

最新文章

热门文章