八、朴素贝叶斯中文分类实战

1.朴素贝叶斯中文分类实战

文本分类的流程如下图所示：

朴素贝叶斯中文分类的目录结构

中文分类的目录机构包括停用词文件、训练集文件和和测试集文件，具体内容如下图所示：

2 数据准备与处理

2.1 数据集介绍

案例中使用的数据是一些新闻数据，每条数据包含了新闻类型和新闻标题。
类型有以下四种：财经类、娱乐类、健康类和体育类。

2.3 加载数据

load_data函数的功能是读取训练数据和测试数据：titles_list和labels_list中分别存放文本标题和对应的标签信息。

# 加载数据def load_data(_dir):file_list = os.listdir(_dir)titles_list = []labels_list = []for file_name in file_list:file_path = _dir + '/' + file_nametitles, labels = load_file(file_path)titles_list += titleslabels_list += labelsreturn titles_list, labels_list

2.4 中文分词

load_file()函数的功能是对文本数据进行分词，为实现文本向量化做准备,tiltes和labels存放标题和标签

# 分词def load_file(file_path):with open(file_path, encoding='utf-8') as f:lines = f.readlines()titles = [] # 样本数据labels = [] # 标签for line in lines:line = line.encode('unicode-escape').decode('unicode-escape')line = line.strip().rstrip('\n')_lines = line.split('---')if len(_lines) != 2:continuelabel, title = _lineswords = jieba.cut(title)s = ''for w in words:s += w + ' 's = s.strip()titles.append(s)labels.append(label)return titles, labels

3 模型的构建

步骤一：加载停用词

stop_words = load_stopwords('stop_word/stopword.txt')

步骤二：加载训练数据

train_datas, train_labels = load_data('train_data')

步骤三：文本向量表示

tf = CountVectorizer(stop_words=stop_words, max_df=0.5)
train_features = tf.fit_transform(train_datas)
train_features_arr = train_features.toarray()

步骤四：多项式贝叶斯分类器

clf = MultinomialNB(alpha=0.001).fit(train_features_arr, train_labels)test_datas, test_labels = load_data('test_data')
test_features = tf.transform(test_datas)

步骤五：模型的评估和保存

# 预测数据
predicted_labels = clf.predict(test_features)# 计算准确率
score = metrics.accuracy_score(test_labels, predicted_labels)
print(score)joblib.dump(clf, 'nb.pkl')
joblib.dump(tf, 'tf.pkl')

步骤六：模型的加载预测

def nb_predict(title):assert MODEL != None and TF != Nonewords = jieba.cut(title)s = ' '.join(words)test_features = TF.transform([s]) predicted_labels = MODEL.predict(test_features)return predicted_labels[0]if __name__ == '__main__':load_model('nb.pkl', 'tf.pkl')print (nb_predict('东莞市场采购贸易联网信息平台参加部委首批联合验收'))print (nb_predict('留在中超了！踢进生死战决胜一球，武汉卓尔保级成功'))print (nb_predict('陈思诚全新系列电影《外太空的莫扎特》首曝海报 黄渤、荣梓杉演父子'))print (nb_predict('红薯的好处 常吃这种食物能够帮你减肥'))

八、朴素贝叶斯中文分类实战相关推荐

七、朴素贝叶斯中文文本分类
1.朴素贝叶斯中文文本分类中文分词停用词朴素贝叶斯中文分类举例:新闻文档分类朴素贝叶斯中文分类的具体过程:加载停用词.中文分词.文本向量化.模型训练和保存.模型的加载和预测. 2 中文分词 2 ...
【NLP实战系列】朴素贝叶斯文本分类实战
实战是学习一门技术最好的方式,也是深入了解一门技术唯一的方式.因此,NLP专栏计划推出一个实战专栏,让有兴趣的同学在看文章之余也可以自己动手试一试. 本篇介绍自然语言处理中一种比较简单,但是有效的文本 ...
贝叶斯与朴素贝叶斯入门及实战
文章目录什么是贝叶斯朴素贝叶斯原理朴素贝叶斯优点朴素贝叶斯缺点贝叶斯模型高斯分布朴素贝叶斯多项式分布朴素贝叶斯伯努利分布朴素贝叶斯总结贝叶斯实战生成式模型和判别式模型的区别什 ...
朴素贝叶斯实现分类_关于朴素贝叶斯分类及其实现的简短教程
朴素贝叶斯实现分类 Naive Bayes classification is one of the most simple and popular algorithms in data mining ...
朴素贝叶斯算法-分类算法
朴素贝叶斯算法-分类算法 1 概率基础概率定义为一件事情发生的可能性联合概率:包含多个条件,且所有条件同时成立的概率,记作P(A,B) 条件概率:事件A在另一个事件B已经发生条件下的发送概率,记作 ...
r包调用legend函数_R语言实现基于朴素贝叶斯构造分类模型数据可视化
本文内容原创,未经作者许可禁止转载! 目录一.前言二.摘要三.关键词四.算法原理五.经典应用六.R建模 1.载入相关包(内含彩蛋): 1.1 library包载入 1.2 pacman包载 ...
从零开始学Python【38】--朴素贝叶斯模型（实战部分）
[前言] 在<从零开始学Python[37]--朴素贝叶斯模型(理论部分)>中我们详细介绍了朴素贝叶斯算法的基本概念和理论知识,在这一期我们继续介绍该算法的实战案例.将会对高斯贝叶斯.多项 ...
朴素贝叶斯算法及其实战
1.概率: 随机事件发生的可能性 2.定义贝叶斯方法贝叶斯方法是以贝叶斯原理为基础,使用概率统计的知识对样本数据集进行分类.由于其有着坚实的数学基础,贝叶斯分类算法的误判率是很低的.贝叶斯方法的特 ...
构造matlab决策树分类器,Matlab建立逻辑回归，决策树，SVM，KNN和朴素贝叶斯模型分类绘制ROC曲线...
尽管对于较高的阈值,SVM可以产生更好的ROC值,但逻辑回归通常更擅长区分不良雷达收益与良好雷达.朴素贝叶斯的ROC曲线通常低于其他两个ROC曲线,这表明样本内性能比其他两个分类器方法差. 比较所 ...

八、朴素贝叶斯中文分类实战

1.朴素贝叶斯中文分类实战

2 数据准备与处理

2.1 数据集介绍

2.3 加载数据

2.4 中文分词

3 模型的构建

八、朴素贝叶斯中文分类实战相关推荐

最新文章

热门文章