《数学之美》第14章余弦定理和新闻的分类

1 新闻的特征向量

对于一篇新闻中的所有实词，计算出它们的TF-IDF值。把这些值按照对应的实词在词汇表的位置依次排序，就得到一个向量。每一篇新闻都可以对应这样一个特征向量，向量中每一个维度的大小代表每个词对这篇新闻主题的贡献。

2 向量矩阵的度量

同一类新闻一定是某些主题词用得较多，另外一些词则用的较少。反映在每一篇新闻的特征上，如果两篇文章属于同一类，它们的特征向量在某几个维度的值都比较大，而在其他维度的值都比较小。反过来看，如果两篇新闻不属于同一类，由于用词的不同，在它们的特征向量中，值比较大的维度应该没有什么交集。

当两条新闻向量的余弦等于1时，夹角为0，两条新闻完全相同；当夹角的余弦接近于1时，两条新闻相似，从而可以归成一类；夹角的余弦越小，夹角越大，两条新闻越不相关。

3 计算余弦向量的技巧

3.1 大数据量时的余弦向量

首先，分母部分不需要重复计算。

其次，在计算分子即两个向量的内积时，只考虑向量中的非零元素。

最后，可以删除虚词，包括搜索中的非必留词以及一些连词、副词和介词

3.2 位置的加权

和计算搜索相关性一样，出现在文本不同位置的词在分类时的重要性也不同。要对标题和重要位置的词进行额外的加权，以提高文本分类的准确性。

《数学之美》第14章余弦定理和新闻的分类相关推荐

《数学之美》第十四章——余弦定理和新闻的分类
1 新闻的特征向量我们在新闻页面中浏览新闻的时候,通常会有很多模块,在这些模块里面的新闻都是具有一定相关性的.如果单纯依靠人工对大量的新闻进行分类显然是不可能的,因此需要让计算机能够"算& ...
《数学之美》选章精读
曾经花了一个月的时间阅读受推荐的书籍<数学之美>,对基于统计的自然语言处理的历史作一个大致的了解,每周精读一章,做下了一些粗略的笔记,算是有个交代吧. 第9章-图论和网络爬虫概念图论起 ...
数学之美系列 12 - 余弦定理和新闻的分类
数学之美系列 12 - 余弦定理和新闻的分类余弦定理和新闻的分类似乎是两件八杆子打不着的事,但是它们确有紧密的联系.具体说,新闻的分类很大程度上依靠余弦定理. Google 的新闻是自动分类和整理 ...
数学之美第3章统计语言模型
数学之美第3章统计语言模型回顾一下: 前面两章都是基础知识,告诉我们自然语言的起源基础,和一些发展过程遇到的问题,第二章告诉我们规则:理解自然语言(即分析语句和获取语义)这种处理方法不可能实现智 ...
余弦定理和新闻的分类（TF-IDF+余弦相似度）
文章目录怎么把新闻向量化从而可计算呢? TF-IDF 怎么计算相似度呢? 余弦相似度大数据量时的余弦计算来源世界上有些事情常常超乎人们的想象.余弦定理和新闻的分类似乎是两件八杆子打不着的事,但 ...
余弦定理和新闻的分类
世界上有些事情常常超乎人们的想象.余弦定理和新闻的分类似乎是两件八杆子打不着的事,但是它们确有紧密的联系.具体地说,新闻的分类很大程度上依靠的是余弦定理. 早在2002年夏天,Google就推出了自己 ...
《数学之美》——第九章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第九章图 ...
《数学之美》——第一章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第一章文 ...
数学之美系列14（转帖）
数学之美十四谈谈数学模型的重要性2006年8月9日上午 09:12:00 发表者:吴军,Google 研究员 [注:一直关注数学之美系列的读者可能已经发现,我们对任何问题总是在找相应的准确的数学 ...

《数学之美》第14章余弦定理和新闻的分类

1 新闻的特征向量

2 向量矩阵的度量

3 计算余弦向量的技巧

3.1 大数据量时的余弦向量

3.2 位置的加权

《数学之美》第14章余弦定理和新闻的分类相关推荐

最新文章

热门文章

《数学之美》第14章 余弦定理和新闻的分类

1 新闻的特征向量

2 向量矩阵的度量

3 计算余弦向量的技巧

3.1 大数据量时的余弦向量

3.2 位置的加权

《数学之美》第14章 余弦定理和新闻的分类相关推荐

最新文章

热门文章

《数学之美》第14章余弦定理和新闻的分类

《数学之美》第14章余弦定理和新闻的分类相关推荐