Bert文本聚类实践

问题来源：

先做的huggingface-bert文本分类（参考text-classification，情感分类，数据集可以考虑SST2），但是数据量太大了，无法穷举所有的类别，故而先用分类来做，但这样也有一个问题，既然做分类，而且要其中比较重要的垂类，那么完全可以用分类模型来预测所有的数据，只要把控其中的score分数即可，如下示例：（输入数据长度无法突破bert 512的限制，超出会自动截断），label有修改。

{'label': '帅气的男孩', 'score': 0.9975317716598511}

经抽检数k数据，发现是这一个类别的基本上都是score大于0.99的，当然训练的时候也是用前面512个字符串来作为一个样本的，其后数据全部舍弃。

本文聚类解决方法：

使用微调后bert-base-chinese，因为要用于聚类，与分类相

Bert文本聚类实践相关推荐

K-means算法及文本聚类实践
K-Means是常用的聚类算法,与其他聚类算法相比,其时间复杂度低,聚类的效果也还不错,这里简单介绍一下k-means算法,下图是一个手写体数据集聚类的结果. 基本思想 k-means算法需要事先指定 ...
【NLP】BERT 模型与中文文本分类实践
简介 2018年10月11日,Google发布的论文<Pre-training of Deep Bidirectional Transformers for Language Understan ...
尝试用bert做文本聚类
尝试用bert做文本聚类以前文本聚类多以TF-IDF构建词权重的方法进行,在本文中尝试用bert提取的向量做文本聚类.对于bert模型,尝试提取不同层的特征,尝试对bert做fun-tune,观察相 ...
SinglepassTextCluster项目：基于single-pass算法思想的自动文本聚类组件
项目的背景 SinglepassTextCluster, an TextCluster tool based on Singlepass cluster algorithm that use tfid ...
hanlp 词频统计_10.HanLP实现k均值--文本聚类
AI 人工智能 10.HanLP实现k均值--文本聚类 10. 文本聚类正所谓物以类聚,人以群分.人们在获取数据时需要整理,将相似的数据归档到一起,自动发现大量样本之间的相似性,这种根据相似性归档的 ...
中文文本聚类（切词以及Kmeans聚类）
简介一切词二去除停用词三构建词袋空间VSMvector space model 四将单词出现的次数转化为权值TF-IDF 五用K-means算法进行聚类六总结简介查看百度搜索中 ...
[Python从零到壹] 十五.文本挖掘之数据预处理、Jieba工具和文本聚类万字详解
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
Python中文文本聚类
原文:https://blog.csdn.net/yyxyyx10/article/details/63685382 简介一切词二去除停用词三构建词袋空间VSMvector space m ...
物以类聚人以群分,通过GensimLda文本聚类构建人工智能个性化推荐系统(Python3.10)
众所周知,个性化推荐系统能够根据用户的兴趣.偏好等信息向用户推荐相关内容,使得用户更感兴趣,从而提升用户体验,提高用户粘度,之前我们曾经使用协同过滤算法构建过个性化推荐系统,但基于显式反馈的算法就会有 ...

Bert文本聚类实践

Bert文本聚类实践相关推荐

最新文章

热门文章