句子分类_Bert做新闻标题文本分类

本文介绍一下如何使用bert_seq2seq框架很轻松的做文本分类任务～框架地址在：

https://github.com/920232796/bert_seq2seqgithub.com

上面还有很多好玩的小例子，可以去自己尝试！

先来看下效果

这次是14分类

target = ["财经", "彩票", "房产", "股票", "家居", "教育", "科技", "社会", "时尚", "时政", "体育", "星座", "游戏", "娱乐"]

即输入一个句子，输出14类中概率最大的那一类～

输入：

两个句子，让模型去预测分别属于哪一类。

输出：

可以看到输出结果就是体育和房产！

其实文本分类任务应该算是稍微简单的任务了，只训练了一个epoch，大概两个小时，效果就已经非常不错了。

流程

具体流程也很简单

处理数据，首先把输入输出数据都处理好，输入即是一个个文本句子，输出呢，就是文本句子对应的类别，要把每一类（文本）转换为数字，比如14类，那么对应的target id 则为0 - 13.
下载好预训练模型和字典以后，便可以很轻松进行加载了～

self.bert_model = load_bert(word2idx, model_name=model_name, model_class="cls", target_size=len(target))
load_model_params(self.bert_model, model_path)

这是摘自文本分类例子里面的代码，使用第一行，一行代码即可加载bert模型，model-class=cls 表明我们要做文本分类任务，target-size 意思就是类别的总数。

第二行代码表示我们要加载bert的预训练参数，加载完参数便可以愉快的进行训练自己的任务了～

具体详细代码可以去github上面找下这个文本分类的例子，非常简单！

另外欢迎来自己的博客逛逛～blog另外欢迎来自己的博客逛逛～

blogwww.blog.zhxing.online

句子分类_Bert做新闻标题文本分类相关推荐

从0到1构建新闻长文本分类系统
新闻分类系统概述新闻分类系统,顾名思义,就是对于一片新闻或者是一片文章,进行自动的分类,例如政治,财经,娱乐等等从技术角度讲,其实属于自然语言处理中比较经典的文本分类问题.当然在一个工业级别的分类 ...
python 新闻标题分类_NLPCC2017(中文)新闻标题分类示例代码以及数据描述
NLPCC 2017 新闻标题分类代码运行环境 python2.7 (最好用anaconda2) tensorflow1.0.0 gpu版本或者cpu版本建议操作系统:Linux Linux 上的 ...
新闻主题分类任务——torchtext 库进行文本分类
目录简介导入相关的torch工具包访问原始数据集迭代器使用原始训练数据集构建词汇表生成数据批处理和迭代器定义模型定义函数来训练模型和评估结果实例化并运行模型使用测试数据集评估模型测 ...
pytorch实现文本分类_使用变形金刚进行文本分类（Pytorch实现）
pytorch实现文本分类 'Attention Is All You Need' "注意力就是你所需要的" New deep learning models are introd ...
文本分类模型_多标签文本分类、情感倾向分析、文本实体抽取模型如何定制？...
文心(ERNIE)是依托百度深度学习平台飞桨打造的语义理解技术与平台,集先进的预训练模型.全面的NLP算法集.端到端开发套件和平台化服务于一体,为企业和开发者提供一整套NLP定制与应用能力.在2020 ...
传统文本分类和基于深度学习文本分类
用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总 ...
html文本分类输出,NLP哪里跑: 文本分类工具一览 · ZMonster's Blog
AllenNLP 完全通过配置文件来对数据处理.模型结果和训练过程进行设置,最简单的情况下可以一行代码不写就把一个文本分类模型训练出来.下面是一个配置文件示例: { "dataset_rea ...
pytorch bert文本分类_一起读Bert文本分类代码 (pytorch篇四）
Bert是去年google发布的新模型,打破了11项纪录,关于模型基础部分就不在这篇文章里多说了.这次想和大家一起读的是huggingface的pytorch-pretrained-BERT代码exa ...
基于支持向量机的文本分类算法研究(三)—— 核函数文本分类性能评价指标（stitp项目）
3 核函数评价指标核函数评价指标,即准确率(P).召回率®和 F1 值,通过这几个数值,可以直观的反映核函数的性能,也使得支持向量机核函数评价科学化.准确化.本次实验函数从特征值 1000循环五十次 ...

句子分类_Bert做新闻标题文本分类

先来看下效果

流程

句子分类_Bert做新闻标题文本分类相关推荐

最新文章

热门文章