《数学之美》第15章矩阵运算和文本处理中的两个分类问题

2024-06-09 03:11:42

1 文本和词汇的矩阵

在自然语言处理中，最常见的两个分类问题分别是：将文本按主题归类（比如将所有介绍奥运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种运动的项目名称归成体育一类）。

新闻分类乃至各种分类问题其实是一个聚类问题，关键是计算两篇新闻的相似度。为了完成这个过程，我们要将新闻变成代表它们内容的实词，然后在变成一组数，具体说是向量，最后求出这两个问题的夹角。

奇异值分解（Singular Value Decomposition，简称 SVD），一次能把所有的新闻相关性计算出来。

在矩阵A中，每一行对应一篇文章，每一列对应一个词。其中，第 i 行、第 j 列的元素，是字典中第 j 个词在第 i 篇文章中出现的加权词频（比如用词的TF-IDF值）。共5000亿个元素。

奇异值分解，就是把大矩阵分解成三个小矩阵相乘。共1.5亿个元素，不到原来的三千分之一。

原书有点问题，还没得到证实：

矩阵X是对文本的分类结果，每一行对应一篇文本，每一列对应一个主题，这一行中每个元素表示这篇文档在不同主题中的相关性。

中间矩阵B表示文章的类和词的类之间的相关性。

矩阵Y是对词进行分类的一个结果，它的每一列表示一个词，每一行表示一个语义相近的词类，或者简称为语义类。这一列的每一个非零元素表示这个词在每个语义类中的重要性（或者说相关性），数值越大越相关。

因此，只要对关联矩阵A进行一次奇异值分解，就可以同时完成近义词分类和文章的分类。另外，还能得到每个主题和每个词的语义类之间的相关性。

2 奇异值分解的方法和应用场景

首先，将矩阵A变换成一个双对角矩阵。

第二步，将双对角矩阵变换成奇异值分解的三个矩阵。

《数学之美》第15章矩阵运算和文本处理中的两个分类问题相关推荐

数学之美第3章统计语言模型
数学之美第3章统计语言模型回顾一下: 前面两章都是基础知识,告诉我们自然语言的起源基础,和一些发展过程遇到的问题,第二章告诉我们规则:理解自然语言(即分析语句和获取语义)这种处理方法不可能实现智 ...
《数学之美》——第九章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第九章图 ...
《数学之美》选章精读
曾经花了一个月的时间阅读受推荐的书籍<数学之美>,对基于统计的自然语言处理的历史作一个大致的了解,每周精读一章,做下了一些粗略的笔记,算是有个交代吧. 第9章-图论和网络爬虫概念图论起 ...
《数学之美》——第一章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第一章文 ...
矩阵运算和文本处理中的分类问题
我在大学学习线性代数时,实在想不出它除了告诉我们如何解线性方程外,还能有什么别的用途.关于矩阵的许多概念,比如特征值等等,更是脱离日常生活.后来在数值分析中又学了很多矩阵的近似算法,还是看不到可以应用 ...
《数学之美》第一章读后感
第一章分别讲述了早期信息的传播,文字和数字的发展,文字和语言背后的数学三个部分. 我从中了解到了信息传递,不论是早期的远古社会,还是如今快速发展的互联网时代,其规律都是异曲同工的.比如信息传播的模型都 ...
《数学之美》中的模型及启示总结
目录初衷文章编排章节总结第1章文字和语言 vs 数字和信息第2章自然语言处理--从规律到统计第3章统计语言模型第4章谈谈中文分词第5章隐含马尔可夫模型第6章信息的度量和作 ...
书札《数学之美》（在读）
文章目录第1章文字和语言 vs 数字和信息第2章自然语言处理--从规则到统计第3章统计语言模型第4章谈谈分词 viterbi 算法第5章隐含马尔科夫模型第6章信息的度量和作用 ...
数学之美-读书笔记11-15章
文章目录数学之美第十一章如何确定网页和查询的相关性 1搜索关键词权重的科学度量-TF-IDF 第十二章有限状态机和动态规划-地图与本地搜索的核心技术 1地址分析和有限状态机 2全球导航和动态规 ...

最新文章

热门文章