fastText训练集对比，分词与句子

最近用到了fastText,今天我要做的对比是拿20W数据

进行监督学习，看看是分词的效果好，还是句子的效果好

先准备原始数据

然后对它们进行正则匹配，这里使用的是scala,指定对应的label

指定完成后的样子

然后咱们进入fastText进行训练

训练完毕

咱们进行测试

好像还行

咱们接着试试,找一找正则匹不上的数据

wt?这个不应该是妇科检查吗

咱们接着来

惨不忍睹！！！因为这个正则是我根据医生整理出来关系自动生成的，因为这种叫法各种不同，医生可能只是写标准的词，所以匹配了大部分。但是其他的还是不能识别。咱们试试分词的。

这里分词使用的是python,真的是慢，用Jieba分词产生文件，大概花了半个小时

当然，中间它将括号也分开了，我觉得应该是要去掉，这些括号/等特殊字符，打算读取过来，写个正则将他们去掉。

然后进行老样子训练

相同的词汇一下变的多了很多，words少了很多,label也少了很多，我应该先匹配后在分词训练的

这里先不管了，jieba分词很慢

看看效果吧

这个分词后的效果好像更差。

还是乖乖写正则吧，等我们有自己的分词字典了在说吧。

fastText训练集对比，分词与句子相关推荐

python使用matplotlib对比多个模型的在训练集上的效果并使用柱状图进行可视化：基于交叉验证的性能均值（mean）和标准差(std)进行可视化分析、使用标准差信息添加误差区间条yerr
python使用matplotlib对比多个模型的在训练集上的效果并使用柱状图进行可视化:基于交叉验证的性能均值(mean)和标准差(std)进行可视化分析.使用标准差信息添加误差区间条yerr 目录
R语言决策树、bagging、随机森林模型在训练集以及测试集的预测结果（accuray、F1、偏差Deviance）对比分析、计算训练集和测试集的预测结果的差值来分析模型的过拟合（overfit）情况
R语言决策树.bagging.随机森林模型在训练集以及测试集的预测结果(accuray.F1.偏差Deviance)对比分析.计算训练集和测试集的预测结果的差值来分析模型的过拟合(overfit)情况 ...
R语言基于Bagging算法(融合多个决策树)构建集成学习Bagging分类模型、并评估模型在测试集和训练集上的分类效果（accuray、F1、偏差Deviance）：Bagging算法与随机森林对比
R语言基于Bagging算法(融合多个决策树)构建集成学习Bagging分类模型.并评估模型在测试集和训练集上的分类效果(accuray.F1.偏差Deviance):Bagging算法与随机森林对比 ...
基于朴素贝叶斯和预训练Bert模型的中文句子情感分类实践
基于朴素贝叶斯和预训练Bert模型的中文句子情感分类实践 1.任务介绍本次实践选题为AI研习社2019年9月份举办的中文对话情感分析任务,并在原任务基础上进行了拓展.任务首先给定一中文语句数据集 ...
python 分词工具训练_中文分词入门和分词工具汇总攻略
[注意]如果寻找分词和文本分析软件,为了完成内容分析和其他文本研究任务,直接使用集搜客分词和文本分析软件就可以了.本文是为了讲解集搜客分词和文本分析的实现原理,是给产品设计者和开发者看的. 最近在整理 ...
EMNLP 2021 | PairSupCon：基于实例对比学习的句子表示方法
©作者 | ShusenW 学习 | 北京邮电大学研究方向 | 自然语言处理论文标题: Pairwise Supervised Contrastive Learning of Sentence R ...
手把手！基于领域预训练和对比学习SimCSE的语义检索（附源码）
之前看到有同学问,希望看一些偏实践,特别是带源码的那种,安排!今天就手把手带大家完成一个基于领域预训练和对比学习SimCSE的语义检索小系统. 所谓语义检索(也称基于向量的检索),是指检索系统不再拘泥 ...
fasttext文本分类python实现_一个使用fasttext训练的新闻文本分类器/模型
fastext是什么? Facebook AI Research Lab 发布的一个用于快速进行文本分类和单词表示的库.优点是很快,可以进行分钟级训练,这意味着你可以在几分钟时间内就训练好一个分类模型 ...
用fasttext 训练
用fasttext 训练下载fasttext 编译和安装使用fasttext 变换数据使用和测试数据下载下载fasttext 官网: https://github.com/facebook ...

fastText训练集对比，分词与句子

fastText训练集对比，分词与句子相关推荐

最新文章

热门文章