基于机器学习的文本分类

本部分将使用传统机器学习模型对数据集训练并对测试集进行分类
首先需要做的是使用tf-idf对训练数据text部分进行编码
在nlp中传统表示文本的方法有三种
- one-hot编码：统计全部单词进行词库的构建，词库大小为V，每一个单词可以表示为长度为V的向量，向量中V-1个值为0，仅向量对应词库索引位置值为1
- 词袋模型：在one-hot编码中，每一行数据表示向量维度为NV（N为文本单词个数，V为词库大小），在词袋模型中，每一行数据表示向量维度为1V，其中向量中每一位置值代表其在句子中出现的频次
  - 在sklearn中可以使用CountVectorizer进行词袋模型的实现
- tf-idf：tf-idf由两部分组成，tf是词语频率，idf是逆文档频率，tf计算方法为词语在该文档中出现的次数/当前文档中词语的总数，idf计算方法为log（文档总数/出现该词语的文档数）
本次试验将使用TF-IDF对文本进行编码，使用Ridge分类器进行分类，对特征不进行其他处理
代码如下- 未进行调参，使用全部训练数据进行训练，在测试集上进行分类，最终线上分数91

零基础入门NPL之新闻分类相关推荐

零基础入门NLP - 天池新闻文本分类Task3笔记
零基础入门NLP - 天池新闻文本分类以下以Datawhale与天池举办的新闻文本分类这个NLP赛题做的NLP入门Task2笔记赛题链接:https://tianchi.aliyun.com/co ...
零基础入门NLP之新闻文本分类挑战赛——赛题理解
假期还有两周左右就结束了,正巧,Datawhale联合天池发布了零基础入门NLP的学习,于是报名参加了零基础入门NLP-新闻文本分类. 本人之前刚接触NLP没多久,记录一下学习的历程,供和我一样的小白 ...
零基础入门推荐系统（新闻推荐）
零基础入门推荐系统(新闻推荐) 比赛介绍本次新人赛是Datawhale与天池联合发起的零基础入门系列赛事第五场 -- 零基础入门推荐系统之新闻推荐场景下的用户行为预测挑战赛. 赛题简介此次比赛是新 ...
Datawhale 零基础入门数据挖掘- 建模与调参
Task4 建模与调参此部分为零基础入门数据挖掘之心电图分类的 Task4 建模调参部分,带你来了解各种模型以及模型的评价和调参策略,欢迎大家后续多多交流. 赛题:零基础入门数据挖掘 - 心电图分类 ...
Task01——零基础入门NLP - 新闻文本分类之赛题理解
本篇目标首先本篇文章会对赛题进行介绍以及个人对赛题的理解,带大家接触NLP的预处理.模型构建和模型训练等知识点. 赛题介绍赛题名称:零基础入门NLP - 新闻文本分类赛题任务:赛题以自然语言处理 ...
零基础入门NLP - 新闻文本分类
本文是对阿里云新人竞赛中的"零基础入门NLP - 新闻文本分类"解体过程进行的记录,目前仅使用了textCNN模型进行预测,后续还会考虑使用LSTM进行对比. 赛题数据赛题以新闻 ...
零基础入门NLP - 新闻文本分类，正式赛第一名方案分享
零基础入门NLP - 新闻文本分类,正式赛第一名方案分享:https://mp.weixin.qq.com/s/7WpZUqdlItBToLYuRLm44g
【初学者入门】零基础入门NLP - 新闻文本分类
序言从今天开始入门学习NLP,虽然有点晚,但是我觉得任何时候都值得开始,尤其是面对你去感兴趣的事情.今天的任务是 [零基础入门NLP - 新闻文本分类],这是天池大赛中的入门级算法比赛,入口链接请自 ...
天池零基础入门NLP - 新闻文本分类Top1方案的bert4torch复现
天池有些长期比赛可以练习玩玩(还可以继续提交),于是试了下简单的新闻文本分类任务,Top1的解决方案思路是"预训练+fgm+交叉验证模型融合",代码是基于bert4keras的,本 ...

零基础入门NPL之新闻分类

基于机器学习的文本分类

零基础入门NPL之新闻分类相关推荐

最新文章

热门文章