weka 初练之文本分类

0.注意weka的中文编码
RunWeka.ini-----》fileEncoding=utf-8
1.首先对分词后的无新词发现的分词文件，转换成arff文件命令
java weka.core.converters.TextDirectoryLoader -dir D:\weibo\catagory\data10W\nlpirSegment\noNI > D:\weibo\catagory\data10W\nlpirSegment\weka\wb10w.arff
发现转换特别快
2.打开上面的文件进行生成词向量，首先选择通过特征的有无，1000特征/每类文档，最后保存当前文件 wb10w_vsm_true_false_weight.arff
生成6千多个特征
3.打开上面的arrf文件，进行特征选择，评估策略选择 IG，搜索策略选择Ranker 特征数5000，保存文件wb10w_as_true_false_weight.arrf
4.bayes 分类器 66训练数据结果复制到 result文件中

转载于:https://www.cnblogs.com/dasheng-maritime/p/6160403.html

weka 初练之文本分类相关推荐

Weka初体验——中文文本分类
最近在公司实习做电商评论相关的数据分析,需要调几个分类器,组里的代码一贯用Java编写,为了提高工作效率,找了找Java环境下的机器学习工具库,发现了Weka这个神奇的东西. Weka介绍及下载 We ...
weka java 分类算法_调用Weka算法实现文本分类
1介绍:嵌入式机器学习,在自己的算法中调用Weka实现文本分类,是一个小的数据挖掘程序,虽然实用价值不是很大,但对于Weka的理解和使用是有帮助的.本例子来自<数据挖掘:实用机器学习技术> ...
AI练手系列（四）—— cnews中文文本分类（RNN实现）
数据集介绍这个数据集是由清华大学根据新浪新闻RSS订阅频道2005-2011年间的历史数据筛选过滤生成的,数据集包含50000个样本的训练集,5000个样本的验证集,10000个样本的测试集,词汇表 ...
《预训练周刊》第20期：EVA：包含28亿参数的中文预训练对话模型、基于知识融入提示词的文本分类...
No.20 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第20期&l ...
用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践
https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类 ...
ig信息增益 java_文本分类综述
文本分类是一项系统的工程,所涉及的技术很多,按流程可以将文本分类分为:文本预处理阶段.训练阶段.分类阶段.评价四个阶段,其中预处理阶段要文本处理成计算机能识别的格式,首先对文本进行分词处理,中文文本和 ...
用深度学习解决大规模文本分类问题
用深度学习解决大规模文本分类问题人工智能头条 2017-03-27 22:14:22 淘宝阅读(228) 评论(0) 声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账号外,观点仅代表作者 ...
文本分类与聚类(text categorization and clustering)
1. 概述广义的分类(classification或者categorization)有两种含义:一种含义是有指导的学习(supervised learning)过程,另一种是无指导的学习(unsup ...
文本分类入门(九)文本分类问题的分类
开始之前首先说说分类体系.回忆一下,分类体系是指事先确定的类别的层次结构以及文档与这些类别间的关系. 其中包含着两方面的内容: 一,类别之间的关系.一般来说类别之间的关系都是可以表示成树形结构,这意味 ...

weka 初练之文本分类