机器学习笔记笔记之三——文本类型处理-词袋法、TF-IDF理解

在面对文本型特征时，大致可以分为两种。

一是枚举类型，比如：男女，小学生初中生高中生大学生……这种类型下类别一般不会超过百种，那么就可以使用哑编码（one-hot）来处理。

另一种就是真正意义上的文本，一条评论或是一篇文章。对于这样的数据，我们介绍两种方法：

（1）、词袋法。

什么是词袋法？将文本当作一个无序的集合，可以采用文本中的词条T进行体现，那么文本中出现的所有词条以及其出现的次数就可以体现文档的特征。

即，将文章分成一个个词语，然后统计各个词语的次数。

但是这样做法一般情况下都会造成分出词语过多，尤其无用词语过多，例如“是”，“的”，“啊”等无意义的词语。为了处理一些词袋法处理的不太好的问题，我们使用TF-IDF法。

（2）、TF-IDT。

TF-IDF如何处理上述问题。

首先，我们有语料库的概念：以｛文章1：词条1 : 2个，文章1：词条2 : 3个｝类似的形式去存储已有文章和词条。

然后，我们用语料库来解决无用词语的问题：

词条的重要性随着 在语料库中出现频率的增加 而减少。

比如有个关于动物的各种文章语料库，“动物”这个词在所有文章中出现的频率极高，那么“动物”这个词对于我们区分语料库中的文章有帮助吗？

并没有，也就是说 词条在语料库中出现的越少，作用才会越大。那么我们就去计算词条在语料库中出现的频率就可以了。

IDF 就是在计算词条在语料库中出现的频率，具体计算规则如下。

IDF（逆向文件频率）：文件频率 = 包含该词的文件数 / 所有文件数。逆向文件频率 = 所有文件数 / 包含该词的文件数。（IDF只是对文件频率取了倒数，原因很简单，按照上面讲的逻辑，文件频率与该词作用成反比，我们想要一个变量和该词作用成正比，那就取倒数喽！）

值得一提，有时候为了后面的计算和衡量，还会对IDF取个对数。

那么TF又是什么？这个更简单了，就是词袋法的核心：该词条在文本中出现的次数。

所谓的TF-IDF = TF *IDF 。这样既保证了该词条在文章中出现次数与该词作用成正比，又保证了无用词语不会产生太大影响。

机器学习笔记笔记之三——文本类型处理-词袋法、TF-IDF理解相关推荐

NLP之BoWNLTK：自然语言处理中常用的技术——词袋法Bow、NLTK库
NLP之BoW&NLTK:自然语言处理中常用的技术--词袋法Bow.NLTK库目录输出结果实现代码输出结果 [[0 1 1 0 1 0 0 0 1 1 1 1 1 1 1 1 1 0 ...
【SLAM十四讲】ch11 回环检测词袋法实验得出相似分数后计算PR曲线 VPR实验编辑中
[SLAM十四讲]ch11 回环检测词袋法实验得出相似分数后计算PR曲线 [SLAM十四讲]ch11 回环检测词袋法实验得出相似分数后计算PR曲线 DBow3库安装 ch11编译 ch11 词 ...
RNN模型与NLP应用笔记(2)：文本处理与词嵌入详解及完整代码实现（Word Embedding）
一.写在前面紧接着上一节,现在来讲文本处理的常见方式. 本文大部分内容参考了王树森老师的视频内容,再次感谢王树森老师和李沐老师的讲解视频. 目录一.写在前面二.引入三.文本处理基本步骤详解四 ...
特征缩放的效果：从词袋到 TF-IDF
特征缩放的效果:从词袋到 TF-IDF 转载:github 译者:@gin 校对者:@HeYun 字袋易于生成,但远非完美.假设我们平等的统计所有单词,有些不需要的词也会被强调.在第三章提过一个例子, ...
自然语言处理之中文文本分析（jieba分词、词袋doc2bow、TFIDF文本挖掘）
中文分词常用的分词工具有jieba等,本文以jieba分词为例,讲解中文文本分析. 一.jieba分词来源github:https://github.com/fxsjy/jieba 1.主要模式支 ...
机器学习入门笔记人工智能黑马程序员
机器学习入门笔记前言这个是根据"黑马程序员"的一套机器学习课程编写的博客.这篇博客上的案例均为课程里面的,但并没有包含所有案例,只是记录了部分. B站视频地址文章目录机器学 ...
机器学习实战笔记(Python实现)-03-朴素贝叶斯
--------------------------------------------------------------------------------------- 本系列文章为<机器 ...
《计算传播学导论》读书笔记——第二章文本分析简介
<计算传播学导论>读书笔记--第二章文本分析简介第一节文本分析研究现状常用文本挖掘技术第二节文本分析与传播学研究 (一)为什么文本挖掘技术逐渐受到传播学者的关注 (二)不同文本分 ...
【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)
[机器学习笔记]可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning) 目录 [机器学习笔记]可解释机器学习-学习笔记 Interpre ...
数据分析学习总结笔记17：文本分析入门案例实战
文章目录 1 数据准备 2 分词 3 统计词频 4 词云 5 提取特征 6 用sklearn进行训练 1 数据准备数据样例如下, 数据总量为7.7万+: 本节通过一个实战的例子来展示文本分析的最简单 ...

机器学习笔记笔记之三——文本类型处理-词袋法、TF-IDF理解

机器学习笔记笔记之三——文本类型处理-词袋法、TF-IDF理解相关推荐

最新文章

热门文章