朴素贝叶斯算法实现垃圾邮件过滤

1．1 题目的主要研究内容

（1）贝叶斯垃圾邮件过滤技术是一种电子邮件过滤的统计学技术，它使用贝叶斯分类来进行垃圾邮件的判别。

（2）贝叶斯分类的运作是借着使用标记（一般是字词，有时候是其他）与垃圾邮件、非垃圾邮件的关连，然后搭配贝叶斯推断来计算一封邮件为垃圾邮件的可能性。

1．2 题目研究的工作基础或实验条件

（1）硬件环境

处理器：Intel(R) Core(TM) i5-7300HQ CPU @ 2.50GHz 2.50 GHz

显卡：英伟达1050

系统类型：64位操作系统, 基于x64的处理器

（2）软件环境

操作系统：Windows10操作系统

开发语言：Python

1．3 设计思想

对于给定的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大就认为此待分类项属于哪个类别。

1．4 流程图

1．5 主要程序代码

# -*- coding: UTF-8 -*-

import numpy as np

import re

import random

"""

函数说明:将切分的实验样本词条整理成不重复的词条列表，也就是词汇表

Parameters:

dataSet - 整理的样本数据集

Returns:

vocabSet - 返回不重复的词条列表，也就是词汇表

"""

def createVocabList(dataSet):

vocabSet = set([]) # 创建一个空的不重复列表

for document in dataSet:

vocabSet = vocabSet | set(document) # 取并集

return list(vocabSet)

"""

函数说明:根据vocabList词汇表，将inputSet向量化，向量的每个元素为1或0

Parameters:

vocabList - createVocabList返回的列表

inputSet - 切分的词条列表

Returns:

returnVec - 文档向量,词集模型

"""

def setOfWords2Vec(vocabList, inputSet):

returnVec = [0] * len(vocabList) #创建一个其中所含元素都为0的向量

for word in inputSet: #遍历每个词条

if word in vocabList: #如果词条存在于词汇表中，则置1

returnVec[vocabList.index(word)] = 1

else:

print("the word: %s is not in my Vocabulary!" % word)

return returnVec #返回文档向量

"""

函数说明:根据vocabList词汇表，构建词袋模型

Parameters:

vocabList - createVocabList返回的列表

inputSet - 切分的词条列表

Returns:

returnVec - 文档向量,词袋模型

"""

def bagOfWords2VecMN(vocabList, inputSet):

returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量

for word in inputSet: # 遍历每个词条

if word in vocabList: # 如果词条存在于词汇表中，则计数加一

returnVec[vocabList.index(word)] += 1

return returnVec # 返回词袋模型

"""

函数说明:朴素贝叶斯分类器训练函数

Parameters:

trainMatrix - 训练文档矩阵，即setOfWords2Vec返回的returnVec构成的矩阵

trainCategory - 训练类别标签向量，即loadDataSet返回的classVec

Returns:

p0Vect - 正常邮件类的条件概率数组

p1Vect - 垃圾邮件类的条件概率数组

pAbusive - 文档属于垃圾邮件类的概率

"""

def trainNB0(trainMatrix, trainCategory):

numTrainDocs = len(trainMatrix) # 计算训练的文档数目

numWords = len(trainMatrix[0]) # 计算每篇文档的词条数

pAbusive = sum(trainCategory) / float(numTrainDocs) # 文档属于垃圾邮件类的概率

p0Num = np.ones(numWords)

p1Num = np.ones(numWords) # 创建numpy.ones数组,词条出现数初始化为1,拉普拉斯平滑

p0Denom = 2.0

p1Denom = 2.0 # 分母初始化为2 ,拉普拉斯平滑

for i in range(numTrainDocs):

if trainCategory[i] == 1: # 统计属于侮辱类的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)···

p1Num += trainMatrix[i]

p1Denom += sum(trainMatrix[i])

else: # 统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···

p0Num += trainMatrix[i]

p0Denom += sum(trainMatrix[i])

p1Vect = np.log(p1Num / p1Denom)

p0Vect = np.log(p0Num / p0Denom) #取对数，防止下溢出

return p0Vect, p1Vect, pAbusive # 返回属于正常邮件类的条件概率数组，属于侮辱垃圾邮件类的条件概率数组，文档属于垃圾邮件类的概率

"""

函数说明:朴素贝叶斯分类器分类函数

Parameters:

vec2Classify - 待分类的词条数组

p0Vec - 正常邮件类的条件概率数组

p1Vec - 垃圾邮件类的条件概率数组

pClass1 - 文档属于垃圾邮件的概率

Returns:

0 - 属于正常邮件类

1 - 属于垃圾邮件类

"""

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):

#p1 = reduce(lambda x, y: x * y, vec2Classify * p1Vec) * pClass1 # 对应元素相乘

#p0 = reduce(lambda x, y: x * y, vec2Classify * p0Vec) * (1.0 - pClass1)

p1=sum(vec2Classify*p1Vec)+np.log(pClass1)

p0=sum(vec2Classify*p0Vec)+np.log(1.0-pClass1)

if p1 > p0:

return 1

else:

return 0

"""

函数说明:接收一个大字符串并将其解析为字符串列表

"""

def textParse(bigString): # 将字符串转换为字符列表

listOfTokens = re.split(r'\W*', bigString) # 将特殊符号作为切分标志进行字符串切分，即非字母、非数字

return [tok.lower() for tok in listOfTokens if len(tok) > 2] # 除了单个字母，例如大写的I，其它单词变成小写

"""

函数说明:测试朴素贝叶斯分类器，使用朴素贝叶斯进行交叉验证

"""

def spamTest():

docList = []

classList = []

fullText = []

for i in range(1, 26): # 遍历25个txt文件

wordList = textParse(open('email/spam/%d.txt' % i, 'r').read()) # 读取每个垃圾邮件，并字符串转换成字符串列表

docList.append(wordList)

fullText.append(wordList)

classList.append(1) # 标记垃圾邮件，1表示垃圾文件

wordList = textParse(open('email/ham/%d.txt' % i, 'r').read()) # 读取每个非垃圾邮件，并字符串转换成字符串列表

docList.append(wordList)

fullText.append(wordList)

classList.append(0) # 标记正常邮件，0表示正常文件

vocabList = createVocabList(docList) # 创建词汇表，不重复

trainingSet = list(range(50))

testSet = [] # 创建存储训练集的索引值的列表和测试集的索引值的列表

for i in range(10): # 从50个邮件中，随机挑选出40个作为训练集,10个做测试集

randIndex = int(random.uniform(0, len(trainingSet))) # 随机选取索索引值

testSet.append(trainingSet[randIndex]) # 添加测试集的索引值

del (trainingSet[randIndex]) # 在训练集列表中删除添加到测试集的索引值

trainMat = []

trainClasses = [] # 创建训练集矩阵和训练集类别标签系向量

for docIndex in trainingSet: # 遍历训练集

trainMat.append(setOfWords2Vec(vocabList, docList[docIndex])) # 将生成的词集模型添加到训练矩阵中

trainClasses.append(classList[docIndex]) # 将类别添加到训练集类别标签系向量中

p0V, p1V, pSpam = trainNB0(np.array(trainMat), np.array(trainClasses)) # 训练朴素贝叶斯模型

errorCount = 0 # 错误分类计数

for docIndex in testSet: # 遍历测试集

wordVector = setOfWords2Vec(vocabList, docList[docIndex]) # 测试集的词集模型

if classifyNB(np.array(wordVector), p0V, p1V, pSpam) != classList[docIndex]: # 如果分类错误

errorCount += 1 # 错误计数加1

print("分类错误的测试集：", docList[docIndex])

print('错误率：%.2f%%' % (float(errorCount) / len(testSet) * 100))

if __name__ == '__main__':

spamTest()

1．6 运行结果及分析

因为是随机选择的样本，可以运行10次取平均值，这样可以得到更好的结果，还有一点要注意，有可能会出现将垃圾邮件误判为正常邮件的情况，这会比将正常的误判为垃圾邮件要好。

朴素贝叶斯算法实现垃圾邮件过滤相关推荐

朴素贝叶斯算法实现垃圾邮件过滤（Python3实现）
目录 1.朴素贝叶斯实现垃圾邮件分类的步骤 2.邮件数据 3.代码实现 4.朴素贝叶斯的优点和缺点 1.朴素贝叶斯实现垃圾邮件分类的步骤 (1)收集数据:提供文本文件. (2)准备数据:将文本文件解析 ...
python：基于朴素贝叶斯算法的垃圾邮件过滤分类
目录一.朴素贝叶斯算法 1.概述 2.推导过程二.实现垃圾邮件过滤分类 1.垃圾邮件问题背景 2.朴素贝叶斯算法实现垃圾邮件分类的步骤 3.python实现参考学习网址:https://blog ...
机器学习：朴素贝叶斯算法与垃圾邮件过滤
简介贝叶斯算法是由英国数学家托马斯·贝叶斯提出的,这个算法的提出是为了解决"逆向概率"的问题.首先我们先来解释下正向概率与逆向概率的含义: 正向概率:假设一个箱子里有5个黄色球和 ...
利用朴素贝叶斯算法识别垃圾邮件
转载自:http://blog.csdn.net/wowcplusplus/article/details/25190809 朴素贝叶斯算法是被工业界广泛应用的机器学习算法,它有较强的数学理论基础,在 ...
【机器学习实战】朴素贝叶斯应用之垃圾邮件过滤
1.什么是朴素贝叶斯 2.贝叶斯公式 3.朴素贝叶斯常用的三个模型 4.朴素贝叶斯实现垃圾邮件过滤的步骤 5.垃圾邮件过滤实验: (一).准备收集好的数据集,并下载到本地文件夹 (二).朴素贝叶斯分类 ...
机器学习——朴素贝叶斯算法（垃圾邮件分类）
朴素贝叶斯算法介绍以及垃圾邮件分类实现 1.一些数学知识 2.贝叶斯公式 3.朴素贝叶斯算法 (1)介绍 (2)核心思想 (3)朴素贝叶斯算法 (4)拉普拉斯修正 (5)防溢出策略 (6)一般过程 ( ...
贝叶斯算法：垃圾邮件过滤
准备 100封邮件,50封垃圾邮件和50封正常邮件参考 : 贝叶斯算法原理程序过程解释垃圾邮件分类的数学基础是贝叶斯推断(bayesian inference).整个程序过程主要 ...
《机器学习实战》基于朴素贝叶斯算法实现垃圾邮件分类
import random import sys import numpy as np import pandas as pd from pandas import Series, DataFrame ...
利用贝叶斯算法对垃圾邮件进行分类处理
代码及注释如下: #使用贝叶斯算法实现垃圾邮件过滤 #将一个大字符串解析为字符串列表 def textParse(bigString):import relistOfTokens = re.split ...

朴素贝叶斯算法实现垃圾邮件过滤

朴素贝叶斯算法实现垃圾邮件过滤

朴素贝叶斯算法实现垃圾邮件过滤相关推荐

最新文章

热门文章