新闻数据有20个主题，有10万多篇文章，每篇文章对应不同的主题，要求是任意输入一篇新的文章，模型输出这篇文章属于哪个主题。

一、算法原理

1. 朴素贝叶斯方法

朴素贝叶斯方法涉及一些概率论知识，我们先来复习一下。

联合概率：包含多个条件，并且所有的条件同时成立的概率，公式为：P(AB)=P(A)*P(B)

条件概率：事件A在另一个事件B已经发生的前提下发生的概率，记作P(A|B)，如果有多个条件，

那记作：P(A1,A2|B)=P(A1|B)*P(A2|B)
朴素贝叶斯一般公式：P(A|B) = P(B|A)*P(A)/P(B)

我举个小例子帮助大家理解：

某学校有N名学生，男生占60%，女生占40%。男生都留短发，女生一半留短发，一半留长发。

问题1：随机一个学生，知道性别的情况下，他（她）留短发的概率是多少？

答：男：P(短发|男生)=1；女：P(短发|女生)=0.5

问题2：随机一个学生，只知道他留短发，他是男生的概率是多少？

答：设 B=短发；A=男生

要求的是 P(A|B) = P(B|A)*P(A)/P(B)

P(B|A)=1， P(A)=0.6， P(B)=0.6*1+0.4*0.5=0.8

P(A|B)=1*0.6/0.8=0.75

2. 文档分类方法

文档分类是在已经分类好了的文档中提取关键字，在以后遇到新的文档时，从这些关键字中预测这篇新文章是哪个类别。
在文档分类中，朴素贝叶斯公式为：

P(C|W) = P(W|C)*P(C)/P(W)

P(C|W) ：某个关键字属于某个分类的概率

P(W|C) ：某个分类下，某个关键字出现的概率

P(C) ：某个类别的概率（某个类别的文档数/总文档数）

P(W) ：这个关键字在需要预测的文档中出现的概率

3. 拉普拉斯平滑

假如现在有一新的篇文章，它的主题包括‘影院’‘云计算’等关键字，我计算它属于娱乐类文章的概率。公式如下：

P(娱乐类|影院,云计算) = P(影院,云计算|娱乐类)*P(娱乐类)/P(影院,云计算)，

其中P(影院,云计算|科技类)=P(影院|科技类)* P(云计算|科技类)

然而对于预测之前建立的分类模型，如果在已经分类好的文章中娱乐类文章种没有出现过云计算这个关键字，那么P(云计算|娱乐类)=0，导致P(影院,云计算|娱乐类)=0，结果就是一篇包括‘影院’‘云计算’等关键字的文章属于娱乐类的概率为0，这肯定不对。只要它里面包含了任何一个和娱乐类相关的词，都有可能是娱乐类。因此引入拉普拉斯平滑系数来避免出现0概率的情况。方法如下：

将 P(W|C) 更改为 P(W|C)=(Ni+a)/(N+a*m)

Ni：该W词在C类别所有文档中出现的次数，即云计算在娱乐类文章中出现了多少次。

N： C类别的文档所有词出现的次数和，即娱乐类一共有多少词。

a：指定系数，一般为1。

m：训练文档中统计出现的特征词个数，即整个文档有多少词。

4. 特征向量化方法

将一篇文章中出现的所有词进行特征向量化，将单词提取出来，计算它们一共出现了多少次。首先要从sklearn库中导入该方法 from sklearn.feature_extraction.text import CountVectorizer。
特征向量化方法：vect.fit_transform()

上式可理解为：fit表示提取特征，transform表示变成sparss矩阵

下面我用两个字符串例子来演示一下这个方法：

# 导入特征向量化方法
from sklearn.feature_extraction.text import CountVectorizer
# 定义两个字符串
word1 = 'i love python,  python makes me happy'
word2 = 'hello world, i love the world'
# 变量vect接收特征向量化方法
vect = CountVectorizer()
# 将2个变量传入特征向量化方法，用于提取每个单词出现的次数
words = vect.fit_transform([word1,word2])

words变量接收的是sparse类型的矩阵，sparse矩阵只会标记word1和word2中不为0的地方，为0的地方不显示，即空格符就不计数直接跳过。如'i','love'等词，sparse矩阵会对这些词进行标记，标记方式为该词出现的次数。下面用代码帮助大家理解。
使用 vect.get_feature_names() 命令来获取word1和word2中出现的所有单词。
使用 .toarray() 将sparse矩阵转换成正常的数组形式，便于观察

# 查看提取了哪些单词
names = vect.get_feature_names()  #提取word1和word2中出现过的所有单词
# 将sparse矩阵转换成正常的数组形式
arr = words.toarray()

解释：arr变量中第0行表示word1某单词出现次数，第1行表示word2，某出现次数与names列表中的对应。即name列表中的'happy'在word1中出现了1次，在word2中出现了0次，‘world’这个词在word1中出现了0次，在word2中出现了2次。

二、文档分类实战

1. 数据获取

使用sklearn内部数据集获取新闻分组数据（链接: https://pan.baidu.com/s/1IL3vFf2l5ajexZSWUhsBoA 提取码: o0is），下载到指定文件夹。

# 使用sklearn内部数据集，获取新闻分组数据
from sklearn.datasets import fetch_20newsgroups
# 指定文件下载位置，把新闻数据下载到里面
filepath = 'C:\\Users\\admin\\.spyder-py3\\test\\文件处理\\newsgroup'
newsgroups = fetch_20newsgroups(data_home = filepath)  #返回值是一个.Bunch类型数据

我们得到的newsgroups是一个.Bunch类型的数据；data中存放的是11314篇新闻文章；DESCR是对这个数据集的描述；filename是文件路径，可以忽视；target存放的是这11314篇文章的分类，一共有20个类别记作0到19；target_names记录的是20种分类的名称。

2. 数据处理

首先从.Bunch数据中提取我们需要的，news_data相当于预测所需的特征值x，news_target相当于预测目标y。

# news_data中存放具体的文章，相当于x
news_data = newsgroups.data
# news_target中存放数据的目标值，即分类的结果，相当于y
news_target = newsgroups.target

从数据中提取最后10行用于结果验证，news_predict_data 存放最后十个的文章数据，用作最后预测函数的输入值，news_predict_target 存放最后十个主题分类，用于和最终预测结果比较，验证是否正确。然后将建模所用的数据剔除最后10行，即将 news_data 和 news_target 都删除最后10行数据。

# 取最后10行特征值作为验证集。用于预测的x
news_predict_data = news_data[-10:]
# 最后10行目标作为验证预测结果的准确性。用于验证的y
news_predict_target = news_target[-10:]
# 用于建模的特征值删除最后10行，x
news_data = news_data[:-10]
# 用于建模的目标值删除最后10行，y
news_target = news_target[:-10]

到此我们已经划分出验证所用数据和建模所用数据。

3. 划分训练集和测试集

一般采用75%的数据用于训练，25%用于测试，因此把数据进行训练之前，先要对数据划分。
使用 sklearn.model_selection.train_test_split 进行分割
划分方式：
x_train,x_test,y_train,y_test = train_test_split(x数据,y数据,test_size=数据占比)

train_test_split() 参数
x：数据集特征值(news_data)
y：数据集目标值(news_target)
test_size：测试数据占比，用小数表示

train_test_split() 返回值
x_train：训练部分特征值
x_test：测试部分特征值
y_train：训练部分目标值
y_test：测试部分目标值

# 划分测试集和训练集
from sklearn.model_selection import train_test_split
# 数据的75%用于训练，25%用于测试
x_train,x_test,y_train,y_test = train_test_split(news_data,news_target,test_size=0.25)

4. 特征提取

为了统计每一篇文章中各个单词出现的次数，哪些分类中哪些单词出现的比较多，从而建立分类模型，同1.4所述。因此导入特征向量化方法CountVectorizer()

然后，对用于训练的新闻数据 x_train 进行 .fit_transform() 操作，先进行fit提取特征值，再transform 将数据sparse矩阵化，统计各个单词出现次数，特征向量化方法见1.4。

那么为什么对于测试用的新闻数据 x_test 只需要进行 transform 操作，而不需要 fit 提取特征值呢？可以简单理解为，x_train 是用来建立模型的，我需要知道它有哪些特征，这些特征值如何与目标值 y_train 相对应。模型建立完成之后，测试数据 x_test 是用来检测这个模型的准确率，相当于我给这个模型传一个 sparse 矩阵，这么模型自己就会进行一个特征的提取，内部会对我对输入值进行一系列处理得到预测结果。同理，我们也需要对验证所用的x数据 news_predict_data 进行sparse矩阵化。

# 导入特征向量化方法
from sklearn.feature_extraction.text import CountVectorizer
# news_vect 接收特征向量化方法
news_vect = CountVectorizer()
# 将x_train传入特征向量化方法
x_train = news_vect.fit_transform(x_train) #用于训练
# 测试数据矩阵化
x_test = news_vect.transform(x_test) #用于测试
# 把验证数据变成sparss矩阵，输入sparss矩阵，输出预测结果
news_predict_data = news_vect.transform(news_predict_data)

5.朴素贝叶斯方法预测

首先导入朴素贝叶斯方法库 from sklearn.naive_bayes import MultinomialNB
朴素贝叶斯函数： MultinomialNB()

MultinomialNB() 接收的参数 (alpha=1,fit_prior=True,class_prior=None)
alpha：拉普拉斯平滑系数，默认为1
朴素贝叶斯训练方法： .fit(self, x_train, y_train, sample_weight=None)

传入的x可以是数组、列表、sparse矩阵

# 导入朴素贝叶斯方法
from sklearn.naive_bayes import MultinomialNB
# nb接收朴素贝叶斯方法
nb = MultinomialNB()
# 训练，传入训练的特征sparss矩阵，训练的目标值
nb.fit(x_train,y_train)
# 评分法看模型准确率，传入测试值特征sparss矩阵，和测试目标值
accuracy = nb.score(x_test,y_test)
# 预测，输入预测所需的特征值x
result = nb.predict(news_predict_data)

评分法计算模型准确率： .score(x_test, y_test)

根据x_test预测结果，把预测结果和真实的y_test比较，计算准确率
朴素贝叶斯预测方法： .predict(预测所需的x数据)

此处的x数据需要输入sparse矩阵

accuracy 存放模型准确率，result 存放分类结果，最终准确率为83%，result和实际结果news_predict_target有微小偏差。

完整代码如下，只需更改filepath文件下载路径即可运行

# 文档分类实战#（1）数据获取
# 使用sklearn内部数据集，获取新闻分组数据
from sklearn.datasets import fetch_20newsgroups
# 指定文件下载位置，把新闻数据下载到里面
filepath = 'C:\\Users\\admin\\.spyder-py3\\test\\文件处理\\newsgroup'
newsgroups = fetch_20newsgroups(data_home = filepath)  #返回值是一个.Bunch类型数据#（2）数据预处理
# news_names存放分类，一共20类
news_names = newsgroups.target_names
# news_data中存放具体的文章，相当于x
news_data = newsgroups.data
# news_target中存放数据的目标值，即分类的结果，相当于y
news_target = newsgroups.target# 取最后10行特征值作为验证集。用于预测的x
news_predict_data = news_data[-10:]
# 最后10行目标作为验证预测结果的准确性。用于验证的y
news_predict_target = news_target[-10:]
# 用于建模的特征值删除最后10行，x
news_data = news_data[:-10]
# 用于建模的目标值删除最后10行，y
news_target = news_target[:-10]#（3）划分测试集和训练集
from sklearn.model_selection import train_test_split
# 数据的75%用于训练，25%用于测试
x_train,x_test,y_train,y_test = train_test_split(news_data,news_target,test_size=0.25)#（4）特征抽取
# 导入特征向量化方法
from sklearn.feature_extraction.text import CountVectorizer
news_vect = CountVectorizer()  # news_vect 接收特征向量化方法
# 将x_train传入特征向量化方法，用于统计x_train中每篇文章的单词出现了多少次，返回sparss矩阵
# fit先提取x_train的特征，transform将x_train中的数据进行sparss矩阵化
x_train = news_vect.fit_transform(x_train) #用于训练
# 上面已经进行过提取特征的操作，这一步不需要fit，直接进行transform矩阵化即可
x_test = news_vect.transform(x_test) #用于测试，我给模型一个sparss矩阵，模型给我一个预测结果
# 同理，我也需要把验证数据变成sparss矩阵，输入sparss矩阵，输出预测结果
news_predict_data = news_vect.transform(news_predict_data) #（5）朴素贝叶斯方法预测
from sklearn.naive_bayes import MultinomialNB  # 导入朴素贝叶斯方法
# MultinomialNB接收的参数(alpha=1,fit_prior=True,class_prior=None)
# alpha：拉普拉斯平滑系数，默认为1
# 用于训练时的fit()方法，fit(self,x,y,sample_weight=None)
# 传入的x可以是数组、列表、sparss矩阵nb = MultinomialNB()  # nb接收朴素贝叶斯方法
# 训练，传入训练的特征sparss矩阵，训练的目标值
# 朴素贝叶斯训练时，只需要提取特征值fit，不需要transform对特征进行一系列操作
nb.fit(x_train,y_train)
# 评分法看模型准确率，传入测试值特征sparss矩阵，和测试目标值
accuracy = nb.score(x_test,y_test)  # 根据x_test预测结果，把预测结果和真实的y_test比较，计算准确率
# 预测，输入预测所需的特征值x（非sparss矩阵）
result = nb.predict(news_predict_data)

朴素贝叶斯算法新闻文本分类相关推荐

利用朴素贝叶斯进行新闻文本分类
初探文本分类,本文使用的数据是5000条中文新闻文本数据,目的是使用朴素贝叶斯算法,对中文新闻文本进行分类预测.流程如下: 文本数据载入及清洗搜狗新闻数据源:http://www.sogou.com ...
贝叶斯文本分类python_scikit_learn 中朴素贝叶斯算法做文本分类的实践总结
朴素贝叶斯算法对于分类非常高效想了解的可以参考这篇博文:贝叶斯从浅入深详细解析,详细例子解释 - zwan0518的专栏 - 博客频道 - CSDN.NET贝叶斯从浅入深先来做个小小总结说明在这 ...
python实现随机森林、逻辑回归和朴素贝叶斯的新闻文本分类
实现本文的文本数据可以在THUCTC下载也可以自己手动爬虫生成, 本文主要参考:https://blog.csdn.net/hao5335156/article/details/82716923 nb ...
朴素贝叶斯进行新闻主题分类，有代码和数据，可以跑通
folder_path = '/Users/apple/Documents/七月在线/NLP/第2课/Lecture_2/Naive-Bayes-Text-Classifier/Database/So ...
Python微调文本顺序对抗朴素贝叶斯算法垃圾邮件分类机制
封面图片:<Python可以这样学>,ISBN:9787302456469,董付国,清华大学出版社图书详情(京东): ================= 关于朴素贝叶斯算法中文垃圾邮件分 ...
机器学习:朴素贝叶斯算法+中文情感分类+python
朴素贝叶斯中文情感分类 1.写在前面朴素贝叶斯算法理论在很多博客上已经解释的很详细了,本文就不再叙述,本文注重于算法的应用以及编程实现,在读取前人的博客以及他们的项目应用,本人结合书本<机器学 ...
基于贝叶斯算法的文本分类算法
因为要做一个关于数据挖掘的算法应用PPT,虽然知道很多数据挖掘的算法怎么使用,但是需要讲解它们的原理,还真的需要耗费很多精力,之前做一个曲线拟合,已经发在博客里,现在做贝叶斯算法的基础原理. 1.基本 ...
朴素贝叶斯算法的介绍
一.朴素贝叶斯算法的介绍 1.什么是朴素贝叶斯算法? 朴素贝叶斯算法(Naive Bayes Algorithm)是一种基于贝叶斯定理和特征独立性假设的概率分类算法.它被广泛应用于文本分类.垃圾邮件过 ...
【阿旭机器学习实战】【11】文本分类实战：利用朴素贝叶斯模型进行邮件分类
[阿旭机器学习实战]系列文章主要介绍机器学习的各种算法模型及其实战案例,欢迎点赞,关注共同学习交流. 本文主要介绍如何使用朴素贝叶斯模型进行邮件分类,置于朴素贝叶斯模型的原理及分类,可以参考我的上一篇 ...

朴素贝叶斯算法新闻文本分类

一、算法原理

1. 朴素贝叶斯方法

2. 文档分类方法

3. 拉普拉斯平滑

4. 特征向量化方法

二、文档分类实战

1. 数据获取

2. 数据处理

3. 划分训练集和测试集

4. 特征提取

5.朴素贝叶斯方法预测

朴素贝叶斯算法新闻文本分类相关推荐

最新文章

热门文章

朴素贝叶斯算法新闻文本分类

一、 算法原理

1. 朴素贝叶斯方法

2. 文档分类方法

3. 拉普拉斯平滑

4. 特征向量化方法

二、 文档分类实战

1. 数据获取

2. 数据处理

3. 划分训练集和测试集

4. 特征提取

5.朴素贝叶斯方法预测

朴素贝叶斯算法新闻文本分类相关推荐

最新文章

热门文章

一、算法原理

二、文档分类实战