朴素贝叶斯算法实现垃圾邮件过滤(Python3实现)
目录
1、朴素贝叶斯实现垃圾邮件分类的步骤
2、邮件数据
3、代码实现
4、朴素贝叶斯的优点和缺点
1、朴素贝叶斯实现垃圾邮件分类的步骤
(1)收集数据:提供文本文件。
(2)准备数据:将文本文件解析成词条向量。
(3)分析数据:检查词条确保解析的正确性。
(4)训练算法:计算不同的独立特征的条件概率。
(5)测试算法:计算错误率。
(6)使用算法:构建一个完整的程序对一组文档进行分类。
2、邮件数据
email文件夹下有两个文件夹ham和spam。ham文件夹下的txt文件为正常邮件;spam文件下的txt文件为垃圾邮件。
3、代码实现
# -*- coding: UTF-8 -*-
import numpy as np
import re
import random"""
函数说明:将切分的实验样本词条整理成不重复的词条列表,也就是词汇表
Parameters:dataSet - 整理的样本数据集
Returns:vocabSet - 返回不重复的词条列表,也就是词汇表
"""
def createVocabList(dataSet):vocabSet = set([]) # 创建一个空的不重复列表for document in dataSet:vocabSet = vocabSet | set(document) # 取并集return list(vocabSet)"""
函数说明:根据vocabList词汇表,将inputSet向量化,向量的每个元素为1或0
Parameters:vocabList - createVocabList返回的列表inputSet - 切分的词条列表
Returns:returnVec - 文档向量,词集模型
"""
def setOfWords2Vec(vocabList, inputSet):returnVec = [0] * len(vocabList) #创建一个其中所含元素都为0的向量for word in inputSet: #遍历每个词条if word in vocabList: #如果词条存在于词汇表中,则置1returnVec[vocabList.index(word)] = 1else:print("the word: %s is not in my Vocabulary!" % word)return returnVec #返回文档向量"""
函数说明:根据vocabList词汇表,构建词袋模型
Parameters:vocabList - createVocabList返回的列表inputSet - 切分的词条列表
Returns:returnVec - 文档向量,词袋模型
"""
def bagOfWords2VecMN(vocabList, inputSet):returnVec = [0] * len(vocabList) # 创建一个其中所含元素都为0的向量for word in inputSet: # 遍历每个词条if word in vocabList: # 如果词条存在于词汇表中,则计数加一returnVec[vocabList.index(word)] += 1return returnVec # 返回词袋模型"""
函数说明:朴素贝叶斯分类器训练函数
Parameters:trainMatrix - 训练文档矩阵,即setOfWords2Vec返回的returnVec构成的矩阵trainCategory - 训练类别标签向量,即loadDataSet返回的classVec
Returns:p0Vect - 正常邮件类的条件概率数组p1Vect - 垃圾邮件类的条件概率数组pAbusive - 文档属于垃圾邮件类的概率
"""
def trainNB0(trainMatrix, trainCategory):numTrainDocs = len(trainMatrix) # 计算训练的文档数目numWords = len(trainMatrix[0]) # 计算每篇文档的词条数pAbusive = sum(trainCategory) / float(numTrainDocs) # 文档属于垃圾邮件类的概率p0Num = np.ones(numWords)p1Num = np.ones(numWords) # 创建numpy.ones数组,词条出现数初始化为1,拉普拉斯平滑p0Denom = 2.0p1Denom = 2.0 # 分母初始化为2 ,拉普拉斯平滑for i in range(numTrainDocs):if trainCategory[i] == 1: # 统计属于侮辱类的条件概率所需的数据,即P(w0|1),P(w1|1),P(w2|1)···p1Num += trainMatrix[i]p1Denom += sum(trainMatrix[i])else: # 统计属于非侮辱类的条件概率所需的数据,即P(w0|0),P(w1|0),P(w2|0)···p0Num += trainMatrix[i]p0Denom += sum(trainMatrix[i])p1Vect = np.log(p1Num / p1Denom)p0Vect = np.log(p0Num / p0Denom) #取对数,防止下溢出return p0Vect, p1Vect, pAbusive # 返回属于正常邮件类的条件概率数组,属于侮辱垃圾邮件类的条件概率数组,文档属于垃圾邮件类的概率"""
函数说明:朴素贝叶斯分类器分类函数
Parameters:vec2Classify - 待分类的词条数组p0Vec - 正常邮件类的条件概率数组p1Vec - 垃圾邮件类的条件概率数组pClass1 - 文档属于垃圾邮件的概率
Returns:0 - 属于正常邮件类1 - 属于垃圾邮件类
"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):#p1 = reduce(lambda x, y: x * y, vec2Classify * p1Vec) * pClass1 # 对应元素相乘#p0 = reduce(lambda x, y: x * y, vec2Classify * p0Vec) * (1.0 - pClass1)p1=sum(vec2Classify*p1Vec)+np.log(pClass1)p0=sum(vec2Classify*p0Vec)+np.log(1.0-pClass1)if p1 > p0:return 1else:return 0"""
函数说明:接收一个大字符串并将其解析为字符串列表
"""
def textParse(bigString): # 将字符串转换为字符列表listOfTokens = re.split(r'\W*', bigString) # 将特殊符号作为切分标志进行字符串切分,即非字母、非数字return [tok.lower() for tok in listOfTokens if len(tok) > 2] # 除了单个字母,例如大写的I,其它单词变成小写"""
函数说明:测试朴素贝叶斯分类器,使用朴素贝叶斯进行交叉验证
"""
def spamTest():docList = []classList = []fullText = []for i in range(1, 26): # 遍历25个txt文件wordList = textParse(open('email/spam/%d.txt' % i, 'r').read()) # 读取每个垃圾邮件,并字符串转换成字符串列表docList.append(wordList)fullText.append(wordList)classList.append(1) # 标记垃圾邮件,1表示垃圾文件wordList = textParse(open('email/ham/%d.txt' % i, 'r').read()) # 读取每个非垃圾邮件,并字符串转换成字符串列表docList.append(wordList)fullText.append(wordList)classList.append(0) # 标记正常邮件,0表示正常文件vocabList = createVocabList(docList) # 创建词汇表,不重复trainingSet = list(range(50))testSet = [] # 创建存储训练集的索引值的列表和测试集的索引值的列表for i in range(10): # 从50个邮件中,随机挑选出40个作为训练集,10个做测试集randIndex = int(random.uniform(0, len(trainingSet))) # 随机选取索索引值testSet.append(trainingSet[randIndex]) # 添加测试集的索引值del (trainingSet[randIndex]) # 在训练集列表中删除添加到测试集的索引值trainMat = []trainClasses = [] # 创建训练集矩阵和训练集类别标签系向量for docIndex in trainingSet: # 遍历训练集trainMat.append(setOfWords2Vec(vocabList, docList[docIndex])) # 将生成的词集模型添加到训练矩阵中trainClasses.append(classList[docIndex]) # 将类别添加到训练集类别标签系向量中p0V, p1V, pSpam = trainNB0(np.array(trainMat), np.array(trainClasses)) # 训练朴素贝叶斯模型errorCount = 0 # 错误分类计数for docIndex in testSet: # 遍历测试集wordVector = setOfWords2Vec(vocabList, docList[docIndex]) # 测试集的词集模型if classifyNB(np.array(wordVector), p0V, p1V, pSpam) != classList[docIndex]: # 如果分类错误errorCount += 1 # 错误计数加1print("分类错误的测试集:", docList[docIndex])print('错误率:%.2f%%' % (float(errorCount) / len(testSet) * 100))if __name__ == '__main__':spamTest()
运行结果
4、朴素贝叶斯的优点和缺点
优点:在数据较少的情况下仍然有效,可以处理多类别问题
缺点:对于输入数据的准备方式较为敏感;由于朴素贝叶斯的“朴素”特点,所以会带来一些准确率上的损失
注意:使用拉普拉斯平滑解决零概率问题;
对乘积结果取自然对数避免下溢出问题,采用自然对数进行处理不会有任何损失。
项目实战-朴素贝叶斯算法实现垃圾邮件过滤源码及数据集资源下载:
项目实战-朴素贝叶斯算法实现垃圾邮件过滤源码及数据集.zip-机器学习文档类资源-CSDN下载
项目实战-朴素贝叶斯算法实现新闻分类
项目实战-KNN算法实现手写数字识别
项目实战-KNN算法改进约会网站的配对效果
本人博文NLP学习内容目录:
一、NLP基础学习
1、NLP学习路线总结
2、TF-IDF算法介绍及实现
3、NLTK使用方法总结
4、英文自然语言预处理方法总结及实现
5、中文自然语言预处理方法总结及实现
6、NLP常见语言模型总结
7、NLP数据增强方法总结及实现
8、TextRank算法介绍及实现
9、NLP关键词提取方法总结及实现
10、NLP词向量和句向量方法总结及实现
11、NLP句子相似性方法总结及实现
12、NLP中文句法分析
二、NLP项目实战
1、项目实战-英文文本分类-电影评论情感判别
2、项目实战-中文文本分类-商品评论情感判别
3、项目实战-XGBoost与LightGBM文本分类
4、项目实战-TextCNN文本分类实战
5、项目实战-Bert文本分类实战
6、项目实战-NLP中文句子类型判别和分类实战
交流学习资料共享欢迎入群:955817470(群一),801295159(群二)
朴素贝叶斯算法实现垃圾邮件过滤(Python3实现)相关推荐
- 朴素贝叶斯算法实现垃圾邮件过滤
朴素贝叶斯算法实现垃圾邮件过滤 1.1 题目的主要研究内容 (1)贝叶斯垃圾邮件过滤技术是一种电子邮件过滤的统计学技术,它使用贝叶斯分类来进行垃圾邮件的判别. (2)贝叶斯分类的运作是借着使用标记(一 ...
- python:基于朴素贝叶斯算法的垃圾邮件过滤分类
目录 一.朴素贝叶斯算法 1.概述 2.推导过程 二.实现垃圾邮件过滤分类 1.垃圾邮件问题背景 2.朴素贝叶斯算法实现垃圾邮件分类的步骤 3.python实现 参考学习网址:https://blog ...
- 机器学习:朴素贝叶斯算法与垃圾邮件过滤
简介 贝叶斯算法是由英国数学家托马斯·贝叶斯提出的,这个算法的提出是为了解决"逆向概率"的问题.首先我们先来解释下正向概率与逆向概率的含义: 正向概率:假设一个箱子里有5个黄色球和 ...
- 利用朴素贝叶斯算法识别垃圾邮件
转载自:http://blog.csdn.net/wowcplusplus/article/details/25190809 朴素贝叶斯算法是被工业界广泛应用的机器学习算法,它有较强的数学理论基础,在 ...
- 【机器学习实战】朴素贝叶斯应用之垃圾邮件过滤
1.什么是朴素贝叶斯 2.贝叶斯公式 3.朴素贝叶斯常用的三个模型 4.朴素贝叶斯实现垃圾邮件过滤的步骤 5.垃圾邮件过滤实验: (一).准备收集好的数据集,并下载到本地文件夹 (二).朴素贝叶斯分类 ...
- 机器学习——朴素贝叶斯算法(垃圾邮件分类)
朴素贝叶斯算法介绍以及垃圾邮件分类实现 1.一些数学知识 2.贝叶斯公式 3.朴素贝叶斯算法 (1)介绍 (2)核心思想 (3)朴素贝叶斯算法 (4)拉普拉斯修正 (5)防溢出策略 (6)一般过程 ( ...
- 贝叶斯算法:垃圾邮件过滤
准备 100封邮件,50封垃圾邮件和50封正常邮件 参考 : 贝叶斯算法原理 程序过程解释 垃圾邮件分类的数学基础是贝叶斯推断(bayesian inference).整个程序过程主要 ...
- 《机器学习实战》基于朴素贝叶斯算法实现垃圾邮件分类
import random import sys import numpy as np import pandas as pd from pandas import Series, DataFrame ...
- 利用贝叶斯算法对垃圾邮件进行分类处理
代码及注释如下: #使用贝叶斯算法实现垃圾邮件过滤 #将一个大字符串解析为字符串列表 def textParse(bigString):import relistOfTokens = re.split ...
最新文章
- Atitit r2017 r6 doc list on home ntpc.docx
- 毕业设计 c语言编译器的设计开发-字节代码格式设计与实现 开题报告,C语言编译器设计与实现...
- C#中 .resx文件
- 第十篇 PO核心功能及流程详解
- mysql php 全是字符串,PHP MySQL中有多个htmlspecialchars字符串
- 【引用】她拒绝了他100次,但第101次他拒绝了她
- 赵雄飞uc讲解20110216
- 关于SYS/BIOS
- java exit code 137_运维:k8s pod erro exit code 137
- 分类模型效果评估指标
- jquery动态修改背景图片
- PythonStock(37)股票系统:Python股票系统发布V2.0版本,改个名字吧,叫Python全栈股票系统2.0,可以实现数据的抓取(akshare),统计分析,数据报表展示。
- Shiro @RequiresPermissions是如何运转的?
- HOJ 2786 Convert Kilometers to Miles
- Ubuntu18.04 64 位系统 安装32位支持库
- OSChina 周五乱弹 —— 到底哪个更重要
- 【深度学习笔记(十)】之物体检测(R-CNN,Fast R-CNN, Faster R-CNN)
- python123填充颜色_WPS表格中如何设置图案填充颜色透明度?,值得收藏
- Stack Overflow技术报告给开发者哪些启示
- DBeaver导出查询数据sql文件
热门文章
- android按键静音键功能实现
- Property visible must be accessed with $ or _ are not proxied in the Vue instance to prevent错误
- 版号解禁,网络游戏却未解冻
- 【WIN10安装】拒绝第三方软件,纯净官网系统,U盘安装教程
- R中两种常用并行方法——2. snowfall
- VOL vs. VLK by Plod
- 中国石油大学计算机图形学第一次在线作业,北京交通大学《计算机图形学》20秋在线作业1-001答案...
- 刺激战场 枪支性能雷达图分析
- 2017283421俞烨炜
- 【机器学习】阿里云天池竞赛——工业蒸汽量预测(5)