第四章朴素贝叶斯-垃圾邮件过滤

#朴素贝叶斯之垃圾邮件过滤
import os
#----------------------1、获取数据集-----------------------
import pandas as pd'''函数功能:创建实验数据集参数:无参数返回:dataSet:带标签的实验数据集(DF格式)
'''
def get_dataSet():ham=[]#ham目录下25个都要读取 ham(非垃圾邮件)for i in range(1,26):file_path='../MLinAction_source/email/ham/%d.txt'%(i)data=open(file_path,encoding='gbk',errors='ignore').read()ham.append([data,'ham']) #前面是文本 后面是类别df1=pd.DataFrame(ham) #变成DataFrame格式spam=[]#spam目录下的25个都录取  spam(垃圾邮件)for i in range(1,26):file_path='../MLinAction_source/email/spam/%d.txt'%(i)data=open(file_path,encoding='gbk',errors='ignore').read()spam.append([data,'spam'])df2=pd.DataFrame(spam)dataSet=pd.concat([df1,df2],ignore_index=True) #合并垃圾邮件和非垃圾邮件 ignore_index忽略索引 顺着前面的索引往后拼接return dataSetdataSet=get_dataSet()
print(dataSet)#----------------------2、使用SKlearn对训练集进行特征值抽取-----------------------
'''TfidfVectorizer = TfidfTransformer + CountVectorizerCountVectorizer 的用途就是将文本文档转换为计数矩阵,TfidfTransformer 的用途就是将计数矩阵转换为标准化的tf或tf-idf.feature_extraction：特征抽取Tf（term-frequency）：词频，词语在文档中出现的频率idf（inverse document frequency）：逆文档频率Tfidf：词频*逆文档频率
'''
from sklearn.feature_extraction.text import TfidfVectorizer
tf=TfidfVectorizer() #用来抽取文字的特征
tf.fit(dataSet[0]) #对所有内容进行学习  dataSet[0]-文本内容  dataSet[1]-标签
data_tf=tf.transform(dataSet[0]) #对学习的内容进行特征抽取#----------------------3、切分训练集和测试集-----------------------
#调用Sklearn中的train_test_split函数来切分数据集
from sklearn.model_selection import train_test_split
xtrain,xtest,ytrain,ytest=train_test_split(data_tf,dataSet[1],test_size=0.2)
xtest.shape[0]
ytest#----------------------4、训练模型-----------------------
#使用多项式朴素贝叶斯和伯努利分布朴素贝叶斯两种方法分别进行模型的训练
from sklearn.naive_bayes import GaussianNB,MultinomialNB,BernoulliNB#多项式分布朴素贝叶斯
mnb=MultinomialNB() #获取模型
mnb.fit(xtrain,ytrain) #训练模型
acc=mnb.score(xtest,ytest) #查看准确率
print('多项式分布朴素贝叶斯准确率:',acc)#伯努利分布朴素贝叶斯
bnb=BernoulliNB()
bnb.fit(xtrain,ytrain)
acc=bnb.score(xtest,ytest)
print('伯努利分布朴素贝叶斯准确率:',acc)#----------------------5、交叉验证-----------------------
#导入必要的包
from sklearn.model_selection import cross_val_score
import  matplotlib
import matplotlib.pyplot as plt
# %matplotlib inline
plt.rcParams['font.sans-serif']=['Simhei'] #显示中文#进行10次十折交叉验证
mnbs=[]
bnbs=[]
for i in range(10):mnb=MultinomialNB()mnb_s=cross_val_score(mnb,data_tf,dataSet[1],cv=10).mean()mnbs.append(mnb_s)bnb=BernoulliNB()bnb_s=cross_val_score(bnb, data_tf, dataSet[1], cv=10).mean()bnbs.append(bnb_s)
plt.plot(range(1,11),mnbs,label="多项式朴素贝叶斯")
plt.plot(range(1,11),bnbs,label="伯努利朴素贝叶斯")
plt.legend()
plt.show()

Email数据集:

链接
提取码:k9n3

第四章朴素贝叶斯-垃圾邮件过滤相关推荐

朴素贝叶斯——垃圾邮件过滤
文章目录利用朴素贝叶斯进行文档分类 1.获取数据集 2.切分文本 3.构建词表和分类 4.构建分类器 5.测试算法利用朴素贝叶斯进行垃圾邮件过滤 1.导入数据集 2.垃圾邮件预测总结利用朴素贝 ...
php贝叶斯,php – 将单个概率与朴素贝叶斯垃圾邮件过滤相结合
我正在尝试通过分析我已经积累的语料库来生成垃圾邮件过滤器. 我已经实现了代码来计算消息是垃圾邮件的概率,因为它包含一个特定的单词,通过从wiki实现以下公式: 我的PHP代码 public funct ...
Python实现基于朴素贝叶斯的垃圾邮件分类标签： python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读评论(1) 收藏举报分类：机器学习（19）听说
Python实现基于朴素贝叶斯的垃圾邮件分类标签: python朴素贝叶斯垃圾邮件分类 2016-04-20 15:09 2750人阅读评论(1) 收藏举报分类: 机器学习(19) 听说朴 ...
机器学习理论《统计学习方法》学习笔记：第四章朴素贝叶斯法
机器学习理论<统计学习方法>学习笔记:第四章朴素贝叶斯法 4 朴素贝叶斯法 4.1 朴素贝叶斯法的学习与分类 4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法 ...
朴素贝叶斯-垃圾邮件（中文的）处理
#coding=utf-8 from sklearn.naive_bayes import MultinomialNB,GaussianNB import numpy as np import jie ...
统计学习方法第四章朴素贝叶斯法-李航
第4章朴素贝叶斯法朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法.对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布:然后基于此模型 ...
python实现朴素贝叶斯垃圾邮件分类
查看通俗易懂的贝叶斯垃圾邮件分类原理请点击此处下载邮件数据请点击此处 import os import re import string import math import numpy as ...
朴素贝叶斯-垃圾邮件分类实现
1. 前言 <朴素贝叶斯算法(Naive Bayes)>,介绍了朴素贝叶斯原理.本文介绍的是朴素贝叶斯的基础实现,用来垃圾邮件分类. 2. 朴素贝叶斯基础实现朴素贝叶斯 (naive B ...
机器学习-朴素贝叶斯-垃圾邮件
一:朴素贝叶斯算法概述 1:朴素贝叶斯(Naïve Bayes, NB)算法,是一种基于贝叶斯定理与特征条件独立假设的分类方法.朴素:特征条件独立:贝叶斯:基于贝叶斯定理.属于监督学习的生成模型,实现 ...

第四章朴素贝叶斯-垃圾邮件过滤

Email数据集:

第四章朴素贝叶斯-垃圾邮件过滤相关推荐

最新文章

热门文章

第四章 朴素贝叶斯-垃圾邮件过滤

Email数据集:

第四章 朴素贝叶斯-垃圾邮件过滤相关推荐

最新文章

热门文章

第四章朴素贝叶斯-垃圾邮件过滤

第四章朴素贝叶斯-垃圾邮件过滤相关推荐