文本分类的目的和分类的方法

1. 文本分类的目的

回顾之前的流程，我们可以发现文本分类的目的就是为了进行意图识别

在当前我们的项目的下，我们只有两种意图需要被识别出来，所以对应的是2分类的问题

可以想象，如果我们的聊天机器人有多个功能，那么我们需要分类的类别就有多个，这样就是一个多分类的问题。例如，如果希望聊天机器人能够播报当前的时间，那么我们就需要准备关于询问时间的语料，同时其目标值就是一个新的类别。在训练后，通过这个新的模型，判断出用户询问的是当前的时间这个类别，那么就返回当前的时间。

同理，如果还希望聊天机器人能够播报未来某一天的天气，那么这个机器人就还需要增加一个新的进行分类的意图，重新进行训练

2. 机器学习中常见的分类方法

在前面的机器学习的课程中我们学习了朴素贝叶斯，决策树等方法都能够帮助我们进行文本的分类，那么我们具体该怎么做呢？

2.1 步骤

特征工程：对文本进行处理，转化为能够被计算的向量来表示。我们可以考虑使用所有词语的出现次数，也可以考虑使用tfidf这种方法来处理
对模型进行训练
对模型进行评估

2.2 优化

使用机器学习的方法进行文本分类的时候，为了让结果更好，我们经常从两个角度出发

特征工程的过程中处理的更加细致，比如文本中类似你，我，他这种词语可以把它剔除；某些词语出现的次数太少，可能并不具有代表意义；某些词语出现的次数太多，可能导致影响的程度过大等等都是我们可以考虑的地方
使用不同的算法进行训练，获取不同算法的结果，选择最好的，或者是使用集成学习方法

3. 深度学习实现文本分类

前面我们简单回顾了使用机器学习如何来进行文本分类，那么使用深度学习该如何实现呢？

在深度学习中我们常见的操作就是：

对文本进行embedding的操作，转化为向量
之后再通过多层的神经网络进行线性和非线性的变化得到结果
变换后的结果和目标值进行计算得到损失函数，比如对数似然损失等
通过最小化损失函数，去更新原来模型中的参数

文本分类的目的和分类的方法相关推荐

情感分析的新方法，使用word2vec对微博文本进行情感分析和分类
向AI转型的程序员都关注了这个号??? 大数据挖掘DT数据分析公众号: datadw 情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中.通过这种 ...
linux五元组结构体,一种基于分类优先级的五元组查询方法与流程
本发明涉及网络传输技术,特别涉及一种基于分类优先级的五元组查询方法. 背景技术: 近年来,随着网络的快速发展,网络数据包的转发效率显的尤为重要:目前,信息技术快速发展,其对应的数据量也迅速增长,在对大 ...
NLP之NBGBT：基于朴素贝叶斯(count/tfidf+网格搜索+4fCrva)、梯度提升树(w2c+网格搜索+4fCrva)算法对IMDB影评数据集进行文本情感分析(情感二分类预测)
NLP之NB&GBT:基于朴素贝叶斯(count/tfidf+网格搜索+4fCrva).梯度提升树(w2c+网格搜索+4fCrva)算法对IMDB影评数据集进行文本情感分析(情感二分类预测) ...
CSS快速学习5：文本溢出和XHTML元素分类
文本溢出 1.溢出属性(容器的) overflow:visible/hidden(隐藏)/sroll/auto(自动)/inherit; visible:默认值,内容不会被修剪,会出现在元素框之外: ...
php无限极 left right,php无限极分类实现的两种解决方法
本篇文章介绍了,在php中无限极分类实现的两种解决方法.需要的朋友参考下 method of classify one<?php /* reader: 这是自己写的无限极分类实现方法里面的编辑 ...
无限极分类php简单,创建无限极分类树型结构的简单方法
先上效果图顶级分类其实就是一级分类,二级分类也叫作一级分类的子分类,在这个基础上,子分类还可以拥有子分类,这样就构成了无限极分类. 接下来看具体实现的代码: 一.在控制器中按字段查询,查询出所有分类 ...
java公路车的气嘴_自行车气嘴的分类、特性和打气的方法
自行车气嘴的分类.特性和打气的方法目前在我国自行车领域常见的内胎气嘴主要分为三类:英式气嘴(英嘴):美式气嘴(美嘴):法式气嘴(法嘴).下面我就向大家进行说明和介绍: 1.英嘴英式气嘴现在在运动自 ...
什么是计算机嵌套分类汇总,Excel中插入分类汇总的嵌套级别的方法图解详细教程...
在上文我们讲解了Excel 2010工作表中为一组数据插入一个分类汇总级别的方法,本文则讲解了Excel 2010工作表中插入分类汇总的嵌套级别的方法. Excel 2010工作表中可以在相应的外部组 ...
【线上问题】线上故障分析-故障分级，原因，分类，混沌工程，排除方法
参考资料因为一行Log日志导致的线上P1事故_xiangzhihong8的博客-CSDN博客线上故障分析-故障分级,原因,分类,混沌工程,排除方法_架构_Ybb_studyRecord-DevPr ...

文本分类的目的和分类的方法

文本分类的目的和分类的方法

1. 文本分类的目的

2. 机器学习中常见的分类方法

2.1 步骤

2.2 优化

3. 深度学习实现文本分类

文本分类的目的和分类的方法相关推荐

最新文章

热门文章