单词向量空间（TF-IDF）

单词-文本矩阵

给定一个含有n个文本的集合D={d1,d2,d3,...,dn}，以及在所有文本中出现m个单词的集合W={w1,w2,...,wm}。将单词在文本中出现的数据用一个单词文本矩阵表示，记作X

$X=\begin{bmatrix} x_{11}& x_{21}& .& . & x_{1n}& \\ t_{21}& x_{22}& .& .& x_{2n}& \\ .& .& & & .& \\ .& .& & & .& \\ .& .& & & .& \\ x_{m1}& t_{m2}& .& .& x_{mn}& \end{bmatrix}$

这是一个m×n的矩阵，元素xij表示单词wi在文本dj中出现的频数或者权值

应用统计方法：单词在文本的权值表示采用TF-IDF。

权值通常使用单词频率-逆文本频率（term frequency-inverse document frequency,TF-IDF）

$TFIDF_{ij}=\frac{tf_{ij}}{tf_{.j}}log\frac{df}{df_{i}}$

$tf_{ij}$ 是单词wi出现在文本dj中的频数， $tf_{.j}$ 是文本dj出现在所有单词的频数之和，dfi是含有单词wi的文本数，df是文本集合D的全部文本数。

利用单词向量来表示文本之间的语义相似程度方法为：计算两个单词向量的内积或者标准化内积（余弦）

$x_{i}\cdot x_{j},\frac{x_{i}\cdot x_{j}}{||x_{i}||||x_{j}||}$

对于单词向量空间来说当有语义相近的词时不能很好的表征文本之间语义相似程度，所以引入了话题向量空间。

话题向量空间

单词-话题

假设所有文本中含有k个话题，假设每个话题由一个定义在单词集合W上的m维向量表示，称为话题向量。

$t_{l}=\begin{bmatrix} t_{1l}\\ t_{2l}\\ .\\ .\\ .\\ t_{ml} \end{bmatrix},l=1,2,3,...,k$

$t_{il}$ 是单词wi在话题 $t_{l}$ 的权值，权值越大，该单词在该话题中的重要度越大

话题向量空间T可也表示为一个矩阵，称为单词-话题矩阵，记作

$T=\begin{bmatrix} t_{11}& t_{21}& .& . & t_{1k}& \\ t_{21}& t_{22}& .& .& t_{2k}& \\ .& .& & & .& \\ .& .& & & .& \\ .& .& & & .& \\ t_{m1}& t_{m2}& .& .& t_{mk}& \end{bmatrix}$

文本-话题

考虑文本集合D的文本dj，在单词向量空间中由一个向量xj表示，将xj投影到话题向量空间T中，得到话题向量空间的一个向量yj，yj是一个K维的向量。

$y_{j}=\begin{bmatrix} y_{1j}\\ y_{2j}\\ .\\ .\\ .\\ y_{kj} \end{bmatrix},j=1,2,3,...,n$

ylj是文本dj在话题tl的权值，权值越大，该话题在该文本中的重要程度就越高。

矩阵Y表示话题在文本中的情况，称为话题-文本矩阵

$Y=\begin{bmatrix} y_{11}& y_{21}& .& . & y_{1n}& \\ y_{21}& y_{22}& .& .& y_{2n}& \\ .& .& & & .& \\ .& .& & & .& \\ .& .& & & .& \\ y_{k1}& y_{k2}& .& .& y_{kn}& \end{bmatrix}$

从单词向量空间到话题向量空间的线性转换

潜在语义分析

单词文本矩阵X可近似由单词话题矩阵T与话题文本矩阵Y的乘积形式表示。

$X\approx TY$

LSA要做的就是在已知X的情况下求得TY。

主要方法有：

矩阵奇异值分解
非负矩阵分解

潜在语义分析(TF-IDF、LSA)相关推荐

潜在语义分析（LSA）
潜在语义分析(LSA) 潜在语义分析LSA(Latent Semantic Analysis )也叫作潜在语义索引LSI( Latent Semantic Indexing )顾名思义是通过分析文 ...
LSA(潜在语义分析)
转载https://blog.csdn.net/fkyyly/article/details/84665361 link LSA最初是用在语义检索上,为了解决一词多义和一义多词的问题: 1.一义多词: ...
潜在语义分析（LSA）详解
文章目录单词向量空间话题向量空间算法实现矩阵奇异值(SVD)分解算法非负矩阵(NMF)分解算法基本思想损失函数 (1)平方损失 (2)散度损失函数算法 (1)平方损失函数更新法则 (2 ...
潜在语义分析（LSA）相关知识
文章目录单词-文本矩阵话题向量空间文本在话题向量空间中的表示从单词向量空间到话题向量空间的线性变换潜在语义分析算法矩阵奇异值(SVD)分解算法非负矩阵(NMF)分解算法基本思想损失函 ...
潜在语义分析 (LSA)，概率潜在语义分析 (PLSA)
目录潜在语义分析 (latent semantic analysis, LSA) 单词向量空间与话题向量空间单词向量空间 (word vector space) 话题向量空间 (topic vec ...
LSA算法——潜在语义分析概率潜在语义分析
1.简介 LSA使一种无监督学习方法,主要用于文本的话题分析,其特点使通过矩阵分解发现文本与单词之间的基于话题的语义关系.潜在语义分析通常将文本集合表示为单词-文本矩阵,对单词-文本矩阵进行奇异值分解 ...
统计学习方法第十七章作业：LSA潜在语义分析算法代码实现
LSA潜在语义分析算法 import numpy as np import jieba import collectionsclass LSA:def __init__(self,text_list) ...
SVD（奇异值分解）与LSA（潜在语义分析）
特征值与特征向量在讲解SVD(奇异值分解)之前,首先回顾一下线性代数中的特征值分解,对于一个 n ∗ n n*n n∗n的矩阵 A A A,存在实数 λ 和 n 维向量 x \lambda和n维向量 ...
SVD分解——潜在语义分析LSA(I)——概率性潜在语义分析PLSA(I)
SVD分解正交矩阵:若一个方阵其行与列皆为正交的单位向量,则该矩阵为正交矩阵,且该矩阵的转置和其逆相等.两个向量正交的意思是两个向量的内积为 0. 正定矩阵:如果对于所有的非零实系数向量 z z z ...
【译】潜在语义分析Latent Semantic Analysis (LSA)
目录目录概述 Tutorial LSA的工作原理 How Latent Semantic Analysis Works 实例A Small Example Part 1 - Creating th ...

潜在语义分析(TF-IDF、LSA)

单词向量空间（TF-IDF）

话题向量空间

潜在语义分析(TF-IDF、LSA)相关推荐

最新文章

热门文章