文本表示与文本特征提取的区别

文本表示的作用就是将文本的非结构化的信息转化为结构化的信息，例如独热编码：

猫：［1，0，0，0］
狗：［0，1，0，0］
牛：［0，0，1，0］
羊：［0，0，0，1］

词袋模型：

句子1：我/有/一个/苹果
句子2：我/明天/去/一个/地方
句子3：你/到/一个/地方
句子4：我/有/我/最爱的/你句子 1 特征: ( 1 , 1 , 1 , 1 , 0 , 0 , 0 , 0 , 0 , 0 )
句子 2 特征: ( 1 , 0 , 1 , 0 , 1 , 1 , 1 , 0 , 0 , 0 )
句子 3 特征: ( 0 , 0 , 1 , 0 , 0 , 0 , 1 , 1 , 1 , 0 )
句子 4 特征: ( 2 , 1 , 0 , 0 , 0 , 0 , 0 , 1 , 0 , 1 )

而文本特征提取，在文本信息中选出最能表示文本含义的部分。例如TF-IDF的权值计算，很明显权值高的词具有更高的意义。

很多时候二者合并进行了，比如TF-IDF其实先用一个词袋模型进行了文本表示，然后直接进行权值计算即特征提取。

文本表示与文本特征提取的区别相关推荐

纯文本与富文本的区别
纯文本:只有基本的字体和标点符号,比如记事本就是纯文本. 富文本:可以有图,可以有各种特殊标点,分段等格式.比如word就是富文本.
mfc倾斜文本输入_文本检测知识梳理（持续更新）
最近在做作业批改场景的OCR相关算法研发工作,打算梳理一下文本检测的相关知识,也欢迎大家留言讨论. 目前主流的基于深度学习的目标检测方法大体分为两类:one-stage和two-stage: 1.Tw ...
html 点击文本框则选中,JS事件内容选中事件（onselect）选中事件，当文本框或者文本域中的文字被选中时，触发onselect事件，同时调用的程序就会被执行。...
内容选中事件(onselect) 选中事件,当文本框或者文本域中的文字被选中时,触发onselect事件,同时调用的程序就会被执行. 如下代码,当选中用户文本框内的文字时,触发onselect 事件, ...
html 显示文本字段,HTML文本框和文本字段样式_五五站长网
如果前面的章节比较扎实,则本教程非常简单. 让我谈谈下面的文本框. 文本框和文本字段都可以使用css进行美化. 例如,更改边框,颜色,添加背景色,背景图像等. 请参见下面的示例: .text1 {bo ...
html 锚文本,什么是锚文本，锚文本链接对SEO的影响！
SEO是一个细节决定成败的工作,如果你想要试图改善排名,每一名SEO人员在做优化的时候,都绕不开锚文本这个话题,如果你选择正确的锚文本,它会使你事半功倍,反之则是事倍功半. 那么,什么是锚文本,锚文本 ...
使用fasttext完成文本处理及文本预测
使用fasttext实现文本处理及文本预测因为参加datafountain和CCF联合举办的大数据竞赛,第一次接触到文本预测.对比了一些模型,最终还是决定试一下fasttext.上手fasttext ...
python数据获取与文本分析_python文本分析之处理和理解文本
前言: 在进行自然语言的建模(NLP)时,我们通常难以处理文字类型的数据,因此在常见的机器学习项目中,数据的格式是结构化的,就算在视觉处理的时候也是一个矩阵或者高维张量的形式.那么文字类型的数据我们应 ...
NLP-文本处理：基本技术【命名实体识别、分词、拼写纠错、停用词、词性标注】、文本序列化、文本向量化、文本语料的数据分析、文本特征处理（Ngram特征添加、文本长度规范）、数据增强
分词(tokenization):英文通过空格或者标点符号,就可以将词分开:而中文的分词会涉及很多问题(未登录词问题.分词歧义问题.分词不一致问题),所以会有各种不同分词的算法. 清洗:我们需要对文本 ...
计算机视觉文本检测与文本识别（一）
文本检测传统文本检测形态学: MSER+NMS 深度学习文本检测分类基于候选框的文本检测基于分割的文本检测基于混合的文本检测传统文本检测当前应用中面对文本检测会遇到很多难点: 文本图像的 ...
将横排文本变成竖排文本
下面是我在做项目时遇到的问题,将横排文本变成竖排文本,自己在朋友的帮助下写了一个方法: private void Str_Title() { string s = " ...

文本表示与文本特征提取的区别

文本表示与文本特征提取的区别

文本表示与文本特征提取的区别相关推荐

最新文章

热门文章